深度学习记录--RMSprop均方根

发布时间：2024年01月22日

RMSprop(root mean square prop)

减缓纵轴方向学习速度，加快横轴方向学习速度，从而加速梯度下降

方法：

S_{dw}=\beta2 S_{dw}+(1-\beta2)(dw)^2

S_{db}=\beta2 S_{db}+(1-\beta2)(db)^2

w:=w-\alpha \frac{dw}{\sqrt{S_{dw}}+\varepsilon }

b:=b-\alpha \frac{db}{\sqrt{S_{db}}+\varepsilon }

\varepsilon =10^{-8}

原理：

不妨以b为纵轴，w为横轴(横纵轴可能会不同，因为是多维量)

为了让w梯度下降更快，则要使S_dw尽量小，即w每次减去一个大数字，所以w梯度下降更快

为了让b梯度下降更慢，则要使S_db尽量大，即b每次减去一个小数字，所以b梯度下降更慢

为了防止分母趋近于0，则加上一个常量\varepsilon，一般设置\varepsilon =10^{-8}

文章来源:https://blog.csdn.net/Xudong_12345/article/details/135729968
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
最新文章