?参考B站同济子豪兄的Resnet讲解
网络退化,不是梯度消失(根本没有开始学习),梯度爆炸,过拟合。
不需要再拟合复杂底层的那个映射了,原来输入的基础上你需要进行哪些偏移哪些修改
残差预测值和真实值的偏差
一路加深了模型,网络分为两支,一路是 同样的浅层网络处理,另一路保留原来的输入,恒等映射。
残差
处理x和处理过(比如做了下采样)后网络不一样的方法:
1.在下采样过程中把多出来的通道用0做padding
2.做1*1的卷积,把维度调整到和残差块一样
3.不管是在下采样还是普通模块在shortcat都采用1*1卷积
下采样不用pulling直接用步长为2的卷积
深度估计,Depth estimation用视觉的方法评估画面的深度
为什么有这些优势,就是因为训练的梯度可以从深层灌回底层
几个弱学习器划分在一起变成强学习器
残差,Relu重要的给1,不重要的给0
加入了恒等映射之后,让残差为0实线恒等映射。
相邻像素和相邻梯度都有相关性。
这个模型相当于有8条路,与dropout类似,让这些路彼此独立。可以实现并行的。分散风险。
Densenet
在Dense Block里面,每一层都与它之后的所有层相连,这样就能更加强大的释放以后每一个尺度的特征。