什么是深度残差网络
实际就是在一般的深度神经网络中加入短连接(shortcut connection)或者跳跃连接(skip connection)。
为什么需要深度残差网络
梯度消失问题:随着深度的增加,梯度消失,深度神经网络的比较快靠前的网络层很难训练。
加入短连接后,靠后网络的层的梯度可以直接反向传播到前面的层,加速网络训练。
另外一个解释就是,加上短连接后,参数没有增加,网络学习目标相当于学习原始目标和输入的差。而残差被假设更容易学习。这也是残差网络的由来。
来源:CSDN
作者:-倾城之恋-
链接:https://blog.csdn.net/P081513083/article/details/103801975