卷积神经网络(三):权值初始化方法之Xavier与MSRA

為{幸葍}努か 提交于 2020-03-05 20:25:03

基础知识

首先介绍一下Xavier等初始化方法比直接用高斯分布进行初始化W的优势所在:
一般的神经网络在前向传播时神经元输出值的方差会不断增大,而使用Xavier等方法理论上可以保证每层神经元输入输出方差一致。
这里先介绍一个方差相乘的公式,以便理解Xavier:

这里写图片描述

Xavier

现在我们先来分析一层卷积:
这里写图片描述
其中ni表示输入个数。

根据概率统计知识我们有下面的方差公式:
这里写图片描述

特别的,当我们假设输入和权重都是0均值时(目前有了BN之后,这一点也较容易满足),上式可以简化为:
这里写图片描述

进一步假设输入x和权重w独立同分布,则有:
这里写图片描述

于是,为了保证输入与输出方差一致,则应该有:
这里写图片描述

为什么要保证输入和输出的方差一致:如果不一致,则会造成方差越来越大(vary(y)>var(x)),或是越来越小(var(y)

为了保证前向传播和反向传播时每一层的方差一致,应

这里写图片描述

但是,实际当中输入与输出的个数往往不相等,于是为了均衡考量,最终我们的权重方差应满足

———————————————————————————————————————
这里写图片描述
———————————————————————————————————————

学过概率统计的都知道 [a,b] 间的均匀分布的方差为:
这里写图片描述

因此,Xavier初始化的实现就是下面的均匀分布

——————————————————————————————————————————
这里写图片描述

MSRA

方法来自于何凯明paper 《Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification》
主要想要解决的问题是由于经过relu后,方差会发生变化,因此我们初始化权值的方法也应该变化

只考虑输入个数时,MSRA初始化是一个均值为0方差为2/n的高斯分布:
MSRA初始化方法
推导证明

推导过程与Xavier类似。

首先,用下式表示第L层卷积:
卷积表示
则其方差为:(假设x和w独立,且各自的每一个元素都同分布,即下式中的n_l表示输入元素个数,x_l和w_l都表示单个元素)
方差
当权重W满足0均值时,上述方差可以进一步写为:
方差整理——————————————————(1)
对于ReLU激活函数,我们有:(其中f是激活函数)
ReLU激活方差—————————————————————(2)
带入之前的方差公式则有:
最终方差
由上式易知,为了使每一层数据的方差保持一致,则权重应满足:
结论
的不同,就是它是只考虑前向传播或者只考虑反向传播的,然后使用高斯分布,而没有综合考虑

补充说明

(1) 对于第一层数据,由于其之前没有经过ReLU,因此理论上这一层的初始化方差应为1/n。但是,因为只有一层,系数差一点影响不大,因此为了简化操作整体都采用2/n的方差;

(2) 反向传播需要考虑的情况完全类似于“Xavier”。对于反向传播,可以同样进行上面的推导,最后的结论依然是方差应为2/n,只不过因为是反向,这里的n不再是输入个数,而是输出个数。文章中说,这两种方法都可以帮助模型收敛。

Xavier与MSRA比较

目前在各种深度学习领域的论文中,使用Xavier初始化方法的比MSRA要多。
虽然MSRA试图去适应relu这一出发点感觉更好,但是博主个人认为其推导过程是存在弊端的:

一、公式一计算var(x)=E(x2)E(x)2var(x)=E(x2)−E(x)2时默认把第二项视为零,但是从公式二中我们知道x是前一层输出经过激活函数得到的值,而relu将x中原本的负项都置零了,因此实际上并不能认为公式一成立。

二、MSRA方法只考虑一个方向,无法使得正向反向传播时方差变化都很小。

可能是因为以上原因,通常深度学习实践中都是使用Xavier。

以上介绍MSRA部分转载自 blog.csdn.net/shuzfan/article/details/51347572

基础知识

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!