https://blog.csdn.net/sjyttkl/article/details/105052669
文标题：
Thomas Bachlechner, Bodhisattwa Prasad Majumder, Huanru Henry Mao, Garrison W. Cottrell, Julian McAuley
论文作者：
Thomas Bachlechner, Bodhisattwa Prasad Majumder, Huanru Henry Mao, Garrison W. Cottrell, Julian McAuley
论文链接：
https://arxiv.org/abs/2003.04887
代码链接：
https://github.com/majumderb/rezero
深度学习在众多领域都取得了显著进展，但与此同时也存在一个问题：深层网络的训练常常面临梯度消失或梯度爆炸的阻碍，尤其是像 Transformer 这样的大型网络。现在，加州大学圣迭戈分校的研究者提出了一种名为 ReZero 的神经网络结构改进方法，并使用 ReZero 训练了具有一万层的全连接网络，以及首次训练了超过 100 层的 Tansformer，效果都十分惊艳。
深度学习在计算机视觉、自然语言处理等领域取得了很多重大突破。神经网络的表达能力通常随着其网络深度呈指数增长，这一特性赋予了它很强的泛化能力。然而深层的网络也产生了梯度消失或梯度爆炸，以及模型中的信息传递变差等一系列问题。研究人员使用精心设计的权值初始化方法、BatchNorm 或 LayerNorm 这类标准化技术来缓解以上问题，然而这些技术往往会耗费更多计算资源，或者存在其自身的局限。
近日，来自加州大学圣迭戈分校（UCSD）的研究者提出一种神经网络结构改进方法「ReZero」，它能够动态地加快优质梯度和任意深层信号的传播。
论文地址：https://arxiv.org/abs/2003.04887v1
代码地址：https://github.com/majumderb/rezero
这个想法其实非常简单：ReZero 将所有网络层均初始化为恒等映射。在每一层中，研究者引入了一个关于输入信号 x 的残差连接和一个用于调节当前网络层输出 F(x) 的可训练参数α，即：
在刚开始训练的时候将α设置为零。这使得在神经网络训练初期，所有组成变换 F 的参数所对应的梯度均消失了，之后这些参数在训练过程中动态地产生合适的值。改进的网络结构如下图所示：
图 1：ReZero 结构示意图
ReZero 主要带来了以下两个益处：
1. 能够训练更深层神经网络
学习信号能够有效地在深层神经网络中传递，这使得我们能够训练一些之前所无法训练的网络。研究者使用 ReZero 成功训练了具有一万层的全连接网络，首次训练了超过 100 层的 Tansformer 并且没有使用学习速率热身和 LayerNorm 这些奇技淫巧。
2. 更快的收敛速度
与带有标准化操作的常规残差网络相比，ReZero 的收敛速度明显更快。当 ReZero 应用于 Transformer 时，在 enwiki8 语言建模基准上，其收敛速度比一般的 Transformer 快 56%，达到 1.2BPB。当 ReZero 应用于 ResNet，在 CIFAR 10 上可实现 32% 的加速和 85% 的精度。
ReZero (residual with zero initialization)
ReZero 对深度残差网络的结构进行了简单的更改，可促进动态等距（dynamical isometry）并实现对极深网络的有效训练。研究者在初始阶段没有使用那些非平凡函数 F[W_i] 传递信号，而是添加了一个残差连接并通过初始为零的 L 个可学习参数α_i（作者称其为残差权重）来重新缩放该函数。目前，信号根据以下方式进行传递：
在初始阶段，该网络表示为恒等函数并且普遍满足动态等距关系。在该架构修改中，即使某一层的 Jacobian 值消失，也可以训练深度网络（正如 ReLU 激活函数或自注意力机制出现这样的状况）。这一技术还可以在现有的已训练网络上添加新层。
实验结果
更快的深层全连接网络训练
图 3 展示了训练损失的演变过程。在一个简单实验中，一个使用了 ReZero 的 32 层网络，拟合训练数据的收敛速度相比其他技术快了 7 到 15 倍。值得注意的是，与常规的全连接网络相比，残差连接在没有额外的标准化层时会降低收敛速度。这可能是因为初始化阶段信号的方差并不独立于网络深度。
随着深度的增加，ReZero 架构的优势更加明显。为了验证该架构可用于深度网络训练，研究者在一台配备 GPU 的笔记本电脑上成功训练了多达 1 万层的全连接 ReZero 网络，使其在训练数据集上过拟合。
图 3：256 宽度和 ReLU 激活的 32 层全连接网络四种变体，在训练过程中的交叉熵损失。
更快的深层 Transformer 训练
研究者提出，常规的 Transformer 会抑制深层信号传递，他们在输入序列 x 的 n x d 个 entry 的无穷小变化下评估其变化，获得注意力处理的输入-输出 Jacobian，从而验证了之前的观点。
图 5a 展示了不同深度中使用 Xavier 统一初始化权重的 Transformer 编码层的输入-输出 Jacobian 值。浅层的 Transformer 表现出峰值在零点附近的单峰分布，可以发现，深层结构中 Jacobian 出现了大量超出计算精度的峰值。虽然这些分布取决于不同初始化方法，但以上量化的结论在很大范围内是成立的。这些结果与普遍认为的相一致，也就是深层 Transformer 很难训练。
图 5：多个输入-输出 Jacobian 矩阵中对数奇异值λ_io 的直方图。（a）层数分别为 4、12、64 层的 Transformer 编码器网络；（b）是 64 层时训练前和训练中的 ReZero Transformer 编码器网络。深层 Transformer 距离动态等距很远，即λ_io 1，而 ReZero Transformer 更接近动态等距，平均奇异值 λ_io ≈ 1。
能够在多项 NLP 任务中实现 SOTA 的 Transformer 模型通常是小于 24 层的，这项研究中，最深层模型最多使用了 78 层，并且需要 256 个 GPU 来训练。研究者又将这一模型扩展至数百个 Transformer 层，并且仍然可以在台式机上训练。为了检查该方法是否可以扩展至更深层的 Transformer 模型之上，研究者将 ReZero Transformer 拓展到了 64 及 128 层，并与普通 Transformer 进行了对比。
结果显示，收敛之后，12 层的 ReZero Transformer 与常规的 Transformer 取得了相同的 BPB。也就是说，用 ReZero 来替代 LayerNorm 不会失去任何模型表现。训练普通的 Transformer 模型会导致收敛困难或训练缓慢。当达到 64 层时，普通的 Transformer 模型即使用了 warm-up 也无法收敛。ReZero Transformer 在α初始化为 1 时发散，从而支持了α = 0 的初始化理论。深层的 ReZero Transformer 比浅层的 Transformer 表现出了更优越的性能。
表 3：在 enwiki8 测试集上的 Transformers (TX) 对比。
收敛速度比较
选择 enwiki8 上的语言建模作为基准，因为较难的语言模型是 NLP 任务性能的良好指标。在实验中，其目标是通过测量 12 层的 Transformer 在 enwiki8 上达到 1.2 位每字节（BPB）所需的迭代次数，由此来衡量所提出的每种方法的收敛速度。
表二：针对 ReZero 的 12 层 Transformers 归一化后与 enwiki8 验证集上达到 1.2 BPB 时所需的训练迭代比较。
更快的残差网络训练
通过前述部分，看到了 ReZero 的连接是如何使深层网络的训练成为可能的，并且这些深层网络都包含会消失的 Jacobian 奇异值，例如 ReLU 激活或自我注意力。但是，如果没有 ReZero 的连接或者是其他架构的更改，其中某些架构将无法执行训练。在本节中，会将 ReZero 连接应用于深层残差网络从而进行图像识别。
虽然这些网络并不需要 ReZero 连接便可以进行训练，但通过观察发现，在 CIFAR-10 数据集上训练的 ResNet56 model4（最多 200 个 epochs）的验证误差得到了非常明显的提升：从（7.37±0.06）％到（6.46±0.05）％。这一效果是将模型中的所有残差连接转换为 ReZero 连接之后得到的。在实施 ReZero 之后，验证误差降低到 15％以下的次数也减少了（32±14）％。尽管目前这些结果只提供了有限的信息，但它们仍指出了 ReZero 连接拥有更广泛的适用性，从而也推进了进一步的研究。
上手实操
项目地址：
https://github.com/majumderb/rezero
在此提供了自定义的 ReZero Transformer 层（RZTX），比如以下操作将会创建一个 Transformer 编码器：
创建一个 Transformer 解码器：
注意确保 norm 参数保留为 None，以免在 Transformer 中用到 LayerNorm。
来源：oschina
链接：https://my.oschina.net/u/4324175/blog/4268518