深度残差网络

浪尽此生 提交于 2020-01-12 10:18:30

什么是深度残差网络

实际就是在一般的深度神经网络中加入短连接(shortcut connection)或者跳跃连接(skip connection)。

为什么需要深度残差网络

梯度消失问题:随着深度的增加,梯度消失,深度神经网络的比较快靠前的网络层很难训练。

加入短连接后,靠后网络的层的梯度可以直接反向传播到前面的层,加速网络训练。

另外一个解释就是,加上短连接后,参数没有增加,网络学习目标相当于学习原始目标和输入的差。而残差被假设更容易学习。这也是残差网络的由来。

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!