斯坦福CS231n学习笔记：DL与CV教程 (3) | 正则化与最优化

前言

• 📚 笔记专栏：斯坦福CS231N：面向视觉识别的卷积神经网络（23）
• 🔗 课程链接：https://www.bilibili.com/video/BV1xV411R7i5
• 💻 CS231n: 深度学习计算机视觉（2017）中文笔记：https://zhuxiaoxia.blog.csdn.net/article/details/80155166
• 🔥 2023最新课程PPT：https://download.csdn.net/download/Julialove102123/88734395

?? 本节重点内容：

1. 正则化Regularization
2. 最优化Optimization
3. 梯度下降

1. 正则化（Regularization）

1.1 为什么引入正则化

上节讲到了如何选择最合适的超参数W，那有没有可能会出现多个这样的参数W1、W2…都能似的损失函数最小呢，答案是非常有可能！！！本节引入正则化就是确定怎么选最合适的W。

1.2 正则化损失（regularization loss）

为什么要正则化？

• 表达对权重的偏好
• 使模型简单，以便它适用于测试数据
• 通过添加曲率来改进优化
  
  

1.3 常见正则化损失

二、优化（Optimization）

🔥🔥🔥重要推荐：可视化工具 http://vision.stanford.edu/teaching/cs231n-demos/linear-classify/

2.1 优化策略

2.2 损失函数可视化

三、梯度计算

3.1 数值梯度法

3.2 解析梯度法

四、梯度下降