在Scikit-Learn线性回归第一篇文章(详见:传送门)中,我们给出了线性回归的损失函数的定义:
L = ∑ i = 1 m ( y i ? f ( x i ) ) 2 L=\sum_{i=1}^m(y_i-f(x_i))^2 L=i=1∑m?(yi??f(xi?))2
回忆一下,损失函数主要用于评估模型拟合的好坏,损失函数衡量了我们构造的模型的预测值与真实值的差异,因此,我们希望我们的预测结果与真实值的差异越小越好。也就是我们希望损失函数取得最小值
损失函数取得最小值是我们构建模型的本质要求,求解模型的特征向量 ω \omega ω是我们构建模型的核心问题
根据损失函数(最小二乘法),我们的求解目标可以转换为求解误差平方和(残差平方和)最小值:
m i n ω = ∣ ∣ Y ? X ω ∣ ∣ 2 2 min_\omega={||Y-X\omega||_2}^2 minω?=