Resnet结构的有效性解释

发布时间：2024年01月18日

Resnet结构的有效性解释

先看一看Resnet网络的块结构：
在这里插入图片描述

根据上图，设有函数
$\mathbf{z}^{(l)}=\mathbf{x}^{(l-1)}+\mathcal{F}(\mathbf{x})^{(l-1)}\tag{1}$
考虑由式 $(1)$ 组成的前馈神经网络，假设残差块不使用激活函数，那么整个式子仍然是线性变换，可得：
$\mathbf{x}^{(l)}=\mathbf{z}^{(l)}\tag{2}$
考虑任意两个层数 $l_2>l_1$ ,联合 $(1)$ 式和 $(2)$ 式，将 $\mathbf{x}$ 进行递归展开
$\begin{align*} \mathbf{x}^{(l_2)}&=\mathbf{x}^{(l_2-1)}+\mathcal{F}\left((\mathbf{x}^{(l_2-1)}\right)\\ &=\left(\mathbf{x}^{(l_2-2)}+\mathcal{F}\left((\mathbf{x}^{(l_2-2)}\right)\right)+\mathcal{F}\left((\mathbf{x}^{(l_2-1)}\right)\\ &=\mathbf{x}^{l_1}+\sum_{l=l_1}^{l_2-1}{\mathcal{F}(\mathbf{x}^{(l)})}\tag{3} \end{align*}$
根据式 $(3)$ ,前向传播时，输入信号可以从任意低层直接传播到高层。这种天然的恒等映射在一定程度上解决了网络退化问题。

利用链式求导法则，网络前向传播的损失 $L$ 对某低层输出的梯度可以展开为：
$\begin{align*} \frac{\partial L}{\partial \mathbf{x}^{(l_1)}}&=\frac{\partial L}{\partial \mathbf{x}^{(l_2)}}\frac{\partial \mathbf{x}^{(l_2)}}{\partial \mathbf{x}^{(l_1)}}\\ &=\frac{\partial L}{\partial \mathbf{x}^{(l_2)}}\left(1+\frac{\partial}{\partial \mathbf{x}^{(l_1)}}\sum_{l=l_1}^{l_2-1}{\mathcal{F}(\mathbf{x}^{(l)})}\right)\\ &=\frac{\partial L}{\partial \mathbf{x}^{(l_2)}}+\frac{\partial L}{\partial \mathbf{x}^{(l_2)}}\frac{\partial}{\partial \mathbf{x}^{(l_1)}}\sum_{l=l_1}^{l_2-1}{\mathcal{F}(\mathbf{x}^{(l)})}\tag{4} \end{align*}$

根据式 $(4)$ ，损失对某低层输出的梯度，被分解成了两项，第一项表明在反向传播时，信号可以直接传播到低层，从而缓解了梯度消失问题，即使中间层权重矩阵很小，梯度也不容易消失。

文章来源:https://blog.csdn.net/qq_46396470/article/details/135686162
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若内容造成侵权/违法违规/事实不符，请联系我的编程经验分享网邮箱：chenni525@qq.com进行投诉反馈，一经查实，立即删除！