循环神经网络中的梯度消失或梯度爆炸问题产生原因分析（二）

发布时间：2023年12月21日

上一篇中讨论了一般性的原则，这里我们具体讨论通过时间反向传播（backpropagation through time，BPTT）的细节。我们将展示目标函数对于所有模型参数的梯度计算方法。

出于简单的目的，我们以一个没有偏置参数的循环神经网络，其在隐藏层中的激活函数使用恒等函数（\phi \left ( x \right )=x）。

对于时间步t，单个样本的输入及其标签分别为\mathbf{x}_{t}\in \mathbb{R}^{d}和y_{t}。计算隐状态\mathbf{h}_{t}\in \mathbb{R}^{h}和输出\mathbf{o}_{t}\in \mathbb{R}^{q}的公式为

\mathbf{h}_{t}=\mathbf{W}_{hx}\mathbf{x}_{t}+\mathbf{W}_{hh}\textbf{h}_{t-1}

\mathbf{o}_{t}=\mathbf{W}_{qh}\mathbf{h}_{t}

其中，权重参数为\mathbf{W}_{hx}\in \mathbb{R}^{h\times d}，\mathbf{W}_{hh}\in \mathbb{R}^{h\times h}和\mathbf{W}_{qh}\in \mathbb{R}^{q\times h}。

目标函数为：

L=\frac{1}{T}\sum_{t=1}^{T}l\left ( y_{t} ,\mathbf{o}_{t}\right )。

通常，训练这个模型需要对这些参数分别进行梯度计算：\partial L/\partial \textbf{W}_{hx}、\partial L/\partial \textbf{W}_{hh}和\partial L/\partial \textbf{W}_{qh}。

\frac{\partial L}{\partial \textbf{o}_{t}}=\frac{\partial l\left ( \textbf{o}_{t},y_{t} \right )}{T\cdot \partial o_{t}}\in \mathbb{R}^{q}

\frac{\partial L}{\partial \mathbf{W}_{qh}}=\sum_{t=1}^{T}\frac{\partial L}{\partial \textbf{o}_{t}}\textbf{h}_{t}^{\top }

\frac{\partial L}{\partial \mathbf{W}_{hx}}=\sum_{t=1}^{T}\frac{\partial L}{\partial \textbf{h}_{t}}\textbf{x}_{t}^{\top }

\frac{\partial L}{\partial \mathbf{W}_{hh}}=\sum_{t=1}^{T}\frac{\partial L}{\partial \textbf{h}_{t}}\textbf{h}_{t-1}^{\top }

其中：\frac{\partial L}{\partial \mathbf{h}_{t}}=\sum_{i=t}^{T}\left (\textbf{W} _{hh}^{\top } \right )^{T-i}\textbf{W}_{qh}^{\top }\frac{\partial L}{\partial \textbf{o}_{T+t-i}}

从\frac{\partial L}{\partial \mathbf{h}_{t}}中可以看到，这个简单的线性例子已经展现出长序列模型的一些关键问题：

它陷入到了\textbf{W} _{hh}^{\top }的潜在的非常大的指数幂。在这个指数幂中，小于1的特征值将会消失（出现梯度消失），大于1的特征值将会发散（出现梯度爆炸）。

文章来源:https://blog.csdn.net/xw555666/article/details/135136429
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
最新文章