简单的损失函数

一、功能：

• 损失函数用来衡量真实值与预测值之间的差异。

二、常用损失函数：

1.均方损失函数：

• 损失 = 真实值-预测值的平方
• 1/2的作用是幂函数求导时可以与落下的2抵消，方便计算。
• 当预测值距真实值较大，梯度较大；越接近真实值，梯度越小。

2.绝对值损失函数：

• 损失 = 真实值-预测值的绝对值
• 当预测值距真实值较大，梯度为常数；越接近真实值，梯度变化不稳定。

3.Huber’s Robust损失函数：

• 结合均方损失和绝对值损失优点
• 当预测值距真实值较大，梯度为常数；越接近真实值，梯度越小。