批量归一化

对于浅层模型，对输入进行标准化处理，使得各个特征的分布相近，任意一个特征在数据集中所有样本上的均值为0、标准差为1
对于深度模型：
提出批量归一化，利用小批量的均值和标准差，不断调整网络中间输出，使得网络各层的输出数值更稳定

1. 对全连接层做BatchNormalization

2. 对卷积层做批量归一化
   位置：卷积计算之后、应用激活函数之前。
   卷积层输出的维度：样本数x通道数x卷积后的高x卷积后的宽 = mxcxpxq
   如果卷积计算输出多个通道，我们需要对这些通道的输出分别做批量归一化，且每个通道都拥有独立的拉伸和偏移参数。
   计算：对单通道，batchsize=m,卷积计算输出=pxq
   对该通道中m×p×q个元素同时做批量归一化,使用相同的均值和方差。

3. 预测时的批量归一化
   训练：以batch为单位,对每个batch计算均值和方差。
   预测：用移动平均估算整个训练数据集的样本均值和方差。
   因为预测的时候是没有均值和方差做参考的，只能使用移动平均法来估算

     https://blog.csdn.net/zyuPp/article/details/104418772
   

来源：CSDN

作者：123scales

链接：https://blog.csdn.net/qq_41268898/article/details/104505151