深度学习记录--梯度消失和爆炸

发布时间：2024年01月17日

梯度消失和爆炸的产生

当神经网络层数很大时，即l很大时，w与1之间的大小关系会产生梯度消失与梯度爆炸的问题

当w<1时，w^{l}会非常小，梯度消失

当w>1时，w^{l}会非常大，梯度爆炸

解决方法

权重初始化

层数n越大，越要使特征值w变小

文章来源:https://blog.csdn.net/Xudong_12345/article/details/135648069
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
最新文章