首先介绍一下Xavier等初始化方法比直接用高斯分布进行初始化W的优势所在:
一般的神经网络在前向传播时神经元输出值的方差会不断增大,而使用Xavier等方法理论上可以保证每层神经元输入输出方差一致。
这里先介绍一个方差相乘的公式,以便理解Xavier:
Xavier
现在我们先来分析一层卷积:
其中ni表示输入个数。
根据概率统计知识我们有下面的方差公式:
特别的,当我们假设输入和权重都是0均值时(目前有了BN之后,这一点也较容易满足),上式可以简化为:
进一步假设输入x和权重w独立同分布,则有:
于是,为了保证输入与输出方差一致,则应该有:
为什么要保证输入和输出的方差一致:如果不一致,则会造成方差越来越大(vary(y)>var(x)),或是越来越小(var(y)
为了保证前向传播和反向传播时每一层的方差一致,应
但是,实际当中输入与输出的个数往往不相等,于是为了均衡考量,最终我们的权重方差应满足:
———————————————————————————————————————
———————————————————————————————————————
学过概率统计的都知道 [a,b] 间的均匀分布的方差为:
因此,Xavier初始化的实现就是下面的均匀分布
——————————————————————————————————————————
MSRA
方法来自于何凯明paper 《Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification》
主要想要解决的问题是由于经过relu后,方差会发生变化,因此我们初始化权值的方法也应该变化
只考虑输入个数时,MSRA初始化是一个均值为0方差为2/n的高斯分布:
推导证明
推导过程与Xavier类似。
首先,用下式表示第L层卷积:
则其方差为:(假设x和w独立,且各自的每一个元素都同分布,即下式中的n_l表示输入元素个数,x_l和w_l都表示单个元素)
当权重W满足0均值时,上述方差可以进一步写为:
——————————————————(1)
对于ReLU激活函数,我们有:(其中f是激活函数)
—————————————————————(2)
带入之前的方差公式则有:
由上式易知,为了使每一层数据的方差保持一致,则权重应满足:
的不同,就是它是只考虑前向传播或者只考虑反向传播的,然后使用高斯分布,而没有综合考虑
补充说明
(1) 对于第一层数据,由于其之前没有经过ReLU,因此理论上这一层的初始化方差应为1/n。但是,因为只有一层,系数差一点影响不大,因此为了简化操作整体都采用2/n的方差;
(2) 反向传播需要考虑的情况完全类似于“Xavier”。对于反向传播,可以同样进行上面的推导,最后的结论依然是方差应为2/n,只不过因为是反向,这里的n不再是输入个数,而是输出个数。文章中说,这两种方法都可以帮助模型收敛。
Xavier与MSRA比较
目前在各种深度学习领域的论文中,使用Xavier初始化方法的比MSRA要多。
虽然MSRA试图去适应relu这一出发点感觉更好,但是博主个人认为其推导过程是存在弊端的:
一、公式一计算var(x)=E(x2)−E(x)2var(x)=E(x2)−E(x)2时默认把第二项视为零,但是从公式二中我们知道x是前一层输出经过激活函数得到的值,而relu将x中原本的负项都置零了,因此实际上并不能认为公式一成立。
二、MSRA方法只考虑一个方向,无法使得正向反向传播时方差变化都很小。
可能是因为以上原因,通常深度学习实践中都是使用Xavier。
以上介绍MSRA部分转载自 blog.csdn.net/shuzfan/article/details/51347572
来源:CSDN
作者:qwioer
链接:https://blog.csdn.net/qwioer/article/details/104677078