线性回归实战

一、引言

? ? ? ? 大家在看这篇文章的时候可能会云里雾里，或许你忘记了前面讲述的知识（就是我），或许你对Python的语法不熟悉（就是我），但是没关系，忘记的知识复习下就好了，Python语法不熟悉就看看网课，有些函数不认识百度一下、CSDN一下就知道了，我也会尽力在代码中解释清楚，一步一步给出处理结果，所以大家慢慢学，别着急，加油~

二、题目

????????假设你是一家餐馆的首席执行官，正在选择一个城市开设一个新的分店，而且你有各个城市的利润和人口数据，你希望使用这些数据来帮助你做出选择。在本部分的练习中，你将使用线性回归算法以根据城市人口数量来预测带来的利润。

三、单变量线性回归

导入依赖

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

读取数据并查看具体信息

数据集获取：dataSet

提取码：6666

path = 'ex1data1.txt'
data = pd.read_csv(path, header=None, names=['Population', 'Profit'])

print(data.head())  # 预览数据，默认显示5行

print(data.describe())  # 生成描述性统计信息，包括：计数、均值、标准差、最小值、25%分位数、中位数（50%分位数）、75%分位数和最大值

data.plot(kind='scatter', x='Population', y='Profit', figsize=(12, 8))
plt.show() #显示图像

计算代价函数J(θ)

现在让我们使用梯度下降来实现线性回归，以最小化代价函数

首先，我们创建一个以参数θ为特征的代价函数

其中：

计算代价函数J(θ)：

def computeCost(X, y, theta):
    inner = np.power(((X * theta.T) - y), 2)
    return np.sum(inner) / (2 * len(X))

在训练集中添加一列，以便我们可以使用向量化的解决方案来计算代价和梯度

data.insert(0, 'Ones', 1)

变量初始化并计算

cols = data.shape[1]  # 列数
X = data.iloc[:,0:cols-1]  # 取前cols-1列，即输入向量
y = data.iloc[:,cols-1:cols] # 取最后一列，即目标向量

print(X.head())

print(y.head())

?

代价函数是应该是numpy矩阵，所以我们需要转换X和y，然后才能使用它们。,同时我们还需要初始化theta

X = np.matrix(X.values)
y = np.matrix(y.values)
theta = np.matrix(np.array([0, 0]))

计算初始代价函数的值 (theta初始值为0)

print(computeCost(X, y, theta)) #32.072733877455676

四、批量梯度下降

梯度下降函数代码实现：大家可以Debug调试，对每一个变量进行分析，这样理解更加容易

def gradientDescent(X, y, theta, alpha, iters):
    temp = np.matrix(np.zeros(theta.shape))  # 构建零值矩阵
    parameters = int(theta.ravel().shape[1])  # ravel功能将多维数组降至一维
    cost = np.zeros(iters)  # 构建iters个0的数组
    for i in range(iters):
        error = (X * theta.T) - y
        for j in range(parameters):
            term = np.multiply(error, X[:, j])  # 计算两矩阵(hθ(x)-y)x
            temp[0, j] = theta[0, j] - ((alpha / len(X)) * np.sum(term))
        theta = temp
        cost[i] = computeCost(X, y, theta)
    return theta, cost

初始化一些附加变量 - 学习速率α和要执行的迭代次数

alpha = 0.01
iters = 1000

现在让我们运行梯度下降算法来将我们的参数θ应用于训练集并计算误差。

g, cost = gradientDescent(X, y, theta, alpha, iters)
print(computeCost(X, y, g))#4.515955503078914

现在我们来绘制线性模型以及数据，直观地看出它的拟合

x = np.linspace(data.Population.min(), data.Population.max(), 100)  # 抽100个样本
f = g[0, 0] + (g[0, 1] * x)  # g[0,0]代表theta0 , g[0,1]代表theta1
fig, ax = plt.subplots(figsize=(12, 8))
ax.plot(x, f, 'r', label='Prediction')
ax.scatter(data.Population, data.Profit, label='Training Data')
ax.legend()  # 添加图例
ax.set_xlabel('Population')
ax.set_ylabel('Profit')
ax.set_title('Predicted Profit vs. Population Size')
# plt.show()

由于梯度方程式函数也在每个训练迭代中输出一个代价的向量，所以我们也可以绘制。 请注意，线性回归中的代价函数总是降低的?

fig, ax = plt.subplots(figsize=(12, 8))
ax.plot(np.arange(iters), cost, 'r')
ax.set_xlabel('Iterations')
ax.set_ylabel('Cost')
ax.set_title('Error vs. Training Epoch')
# plt.show()

五、多变量线性回归

我前面给出的数据集还包括一个房屋价格数据集，其中有2个变量（房子的大小，卧室的数量）和目标（房子的价格），这不就是典型的多变量吗，其实和单变量的实现过程也差不多。

读入数据

path = 'ex1data2.txt'
data2 = pd.read_csv(path, header=None, names=['Size', 'Bedrooms', 'Price'])
print(data2.head())

归一化

变量初始化并计算

data2.insert(0, 'Ones', 1)
cols = data2.shape[1]
print(data2)
X2 = data2.iloc[:, 0:cols - 1]
y2 = data2.iloc[:, cols - 1:cols]
X2 = np.matrix(X2.values)
y2 = np.matrix(y2.values)
theta2 = np.matrix(np.array([0, 0, 0]))
g2, cost2 = gradientDescent(X2, y2, theta2, alpha, iters)
computeCost(X2, y2, g2)

我们也可以快速查看它的的训练进程。

fig, ax = plt.subplots(figsize=(12, 8))
ax.plot(np.arange(iters), cost2, 'r')
ax.set_xlabel('Iterations')
ax.set_ylabel('Cost')
ax.set_title('Error vs. Training Epoch')
plt.show()

六、Normal Equation（正规方程）

前一节已经具体讲了正规方程的表达式以及求θ的方式，这里只需要代入参数即可

# 正规方程
def normalEqn(X, y):
    theta = np.linalg.inv(X.T @ X) @ X.T @ y
    return theta

final_theta = normalEqn(X, y)
print(final_theta)