深度学习中的归一化(normalization)和正则化(regularization)

深度学习中的归一化和正则化

• 1. 权重归一化
• 1.1 作用
• 1.2 梯度
• 2. 特征归一化
• 2.1 归一化方法
• 2.2 归一化区别

  机器学习的学习过程基于概率和统计学，学习到的知识能用于其它数据的一个基本假设是独立同分布(IID)，因此把数据变成同分布是很有必要的。

1. 权重归一化

1.1 作用

  权重归一化不归一化特征，而是归一化权重。假设卷积核的向量形式是$\vec w$，感受野的向量形式是$\vec x$，偏置为$b$。一个神经元的输出可以表示为：
$y = \phi (\vec w \cdot \vec x + b).$

  把$\vec w$写成$\vec w = \frac{g}{||\vec v||} \cdot v$。因为$\frac{\vec w}{g} = \vec e$，所以$||\vec w|| = g$。这样，权值向量$\vec w$的模长就是$g$，方向就是$\frac{\vec v}{|| \vec v ||}$。模长和方向不再耦合，利于加速收敛。

1.2 梯度

  训练的过程中要更新$g$和$\vec v$，所以要求损失函数对它们的导数。
  损失函数关于$g$的导数：
$\nabla_{g} L = \nabla_{w} L \cdot \frac{\nabla_{w}L \cdot \vec v}{||\vec v||}.$

  损失函数关于$\vec v$的导数：
$\begin{aligned} \nabla_{v}L &= \nabla_{w} L \cdot \frac{\partial w}{\partial \vec v} \\ &= \nabla_{w} L \cdot g \cdot (\frac{\vec v' ||\vec v|| - \vec v||\vec v||'}{||\vec v||^2}) \\ &= \nabla_{w} L \cdot g(\frac{1}{||\vec v||} - \frac{\vec v}{||\vec v||^2} \cdot \frac{\vec v}{||\vec v||}) \\ &= \nabla_{w} L \cdot g \cdot \frac{1}{||\vec v||} - \nabla_{w} L \cdot g \cdot \frac{\vec v}{||\vec v||} \cdot \frac{\vec v}{||\vec v||^2} \\ &= \frac{g}{||\vec v||} \cdot \nabla_{w} L - \frac{g \cdot \nabla_{g}L}{||\vec v||^2} \cdot \vec v \end{aligned}$

2. 特征归一化

  特征归一化方法有BN、LN、IN、GN、SN。

2.1 归一化方法

  特征归一化就是：

1. 求输入数据$input\_data$的均值$\mu$、方差$\sigma$：
   $\begin{cases} \mu_i = \frac{1}{m} \sum_{k \in S_i} x_k,\\ \sigma_i = \sqrt { \frac{1}{m} \sum_{k \in S_i} (x_k - \mu _i)^2 + \epsilon}. \end{cases}$
     其中$\epsilon$是一个值较小的常量，$S_{i}$是用于计算均值和标准差的像素集合，$m$是集合的大小。

2. 把input_data通过线性变换$\frac{input\_data - \mu }{\sigma }$化为均值为0、方差为1的标准正态分布：
   $\hat x_{i} = \frac{1}{\sigma_i} (x_i - \mu_i).$

3. 使用可学习的参数$\gamma$和$\beta$，把$input\_data$化为均值为$\beta$、方差为$\gamma^2$的正态分布：
   $y_{i}=\gamma \hat{x}_{i}+\beta.$
     均值和方差分别是：
   $\begin{cases} E( y_{i}) = \gamma E(\hat{x}_{i}) +\beta = \beta,\\ D\left ( y_{i} \right ) = \gamma ^{2}D\left ( \hat{x}_{i} \right ) = \gamma ^{2}. \end{cases}$
     所以归一化后的特征$y \sim N\left ( \beta ,\gamma ^{2} \right ).$

2.2 归一化区别

  四种特征归一化实现方法的区别在于$S_{i}$不同，蓝色的特征$S_{i}$被归一化为相同的均值和方差：

1. BN中$S_{i}=\left \{ k\mid k_{C}=i_{C} \right \}$：C坐标相同的像素在一块归一化。
2. LN中$S_{i} = \left \{ k \mid k_{N}=i_{N} \right \}$：N坐标相同的像素在一块归一化。
3. IN中$S_{i}=\left \{ k\mid k_{N}=i_{N},k_{C}=i_{C} \right \}$：N坐标和C坐标都相同的像素在一块归一化。
4. GN中$S_{i} = \left \{ k\mid k_{N}=i_{N},\left \lfloor \frac{k_{C}}{C/G} \right \rfloor = \left \lfloor \frac{i_{C}}{C/G} \right \rfloor\right \}$：N坐标相同的像素分为G组，组内的像素在一块归一化。
     组数G是一个预定义的超参数。$\frac{C}{G}$是每组的通道数。$\left \lfloor \cdot \right \rfloor$代表向下取整。最右的图中$C=6$，$G=2$，$k_{C}$在$\left \{ 0,1,2,3,4,5 \right \}$中取值时$\left \lfloor \frac{k_{C}}{C/G} \right \rfloor$的值为$\left \{ 0,0,0,1,1,1 \right \}$，$i_{C}$同理，因此把$N$坐标相同的像素分为$2(G)$组，每组的通道数是$3(C/G)$。

来源：CSDN

作者：共产主义建设者

链接：https://blog.csdn.net/qq_26697045/article/details/103948125