梯度下降简介

发布时间:2024年01月02日




1、背景概述


在Scikit-Learn线性回归第一篇文章(详见:传送门)中,我们给出了线性回归的损失函数的定义:
L = ∑ i = 1 m ( y i ? f ( x i ) ) 2 L=\sum_{i=1}^m(y_i-f(x_i))^2 L=i=1m?(yi??f(xi?))2

回忆一下,损失函数主要用于评估模型拟合的好坏,损失函数衡量了我们构造的模型的预测值与真实值的差异,因此,我们希望我们的预测结果与真实值的差异越小越好。也就是我们希望损失函数取得最小值

损失函数取得最小值是我们构建模型的本质要求,求解模型的特征向量 ω \omega ω是我们构建模型的核心问题

根据损失函数(最小二乘法),我们的求解目标可以转换为求解误差平方和(残差平方和)最小值:
m i n ω = ∣ ∣ Y ? X ω ∣ ∣ 2 2 min_\omega={||Y-X\omega||_2}^2 minω?=

文章来源:https://blog.csdn.net/weixin_55629186/article/details/135342430
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。