「自然语言处理(NLP)」神经机器翻译(NMT)论文整理(一)

喜欢我们，点击上方AINLPer，关注一下，极品干货即刻送达！

祝大家周末愉快~~

引言

下面是作者整理的关于神经机器翻译（NMT）相关的论文，下面这10篇文章都顶会ICLR发表的文章，能找到源码的作者也直接贴出来了，如果你对NMT感兴趣或者也在找一些相关的文章，希望能够帮助你~

关于本次分享得十篇NMT文章，后台回复：NMT001 可见下载链接。

最后，帮作者点个在看吧，谢谢~~

正文开始

First Blood

TILE: Multilingual Neural Machine Translation with Knowledge Distillation

Author: Xu Tan, Yi Ren, Di He, Tao Qin, Zhou Zhao, Tie-Yan Liu

Paper:openreview.net/pdf?

论文简述：多语言机器翻译以其离线训练和在线服务的效率而备受关注。然而，由于语言多样性和模型容量的限制，传统的多语言翻译通常会产生较低的准确性。在本文提出了一种基于提取的方法来提高多语言机器翻译的准确性。

TILE: Mirror-Generative Neural Machine Translation

Author: Zaixiang Zheng, Hao Zhou, Shujian Huang, Lei Li, Xin-Yu Dai, Jiajun Chen

Paper:openreview.net/pdf?

论文简述：本文提出了镜像生成NMT架构，这是一个单一的统一架构，同时集成了源到目标翻译模型、目标到源翻译模型和两种语言模型。

TILE: Multi-Agent Dual Learning

Author: Yiren Wang, Yingce Xia, Tianyu He, Fei Tian, Tao Qin, ChengXiang Zhai, Tie-Yan Liu

Paper:openreview.net/pdf?

论文简述： 现有的二元学习框架形成了一个包含两个主体(一个原始模型和一个二元模型)的系统来利用这种二元性。本文通过引入多个原模型和对偶模型对该框架进行了扩展，提出了多智能体对偶学习框架。在神经机器翻译和图像翻译任务上的实验证明了该框架的有效性。

TILE: Multilingual Neural Machine Translation With Soft Decoupled Encoding

Author: Xinyi Wang, Hieu Pham, Philip Arthur, Graham Neubig.

Paper:openreview.net/pdf?

论文简述：神经机器翻译(NMT)系统的多语言训练在低资源语言上带来了令人印象深刻的准确性改进。然而，在数据缺乏的情况下，有效地学习单词表示仍然面临着巨大的挑战。在本文中，我们提出了软解耦编码(SDE)，这是一种多语言词汇编码框架，专门设计来智能地共享词汇级别的信息，而不需要预先分割数据等启发式预处理。

TILE: Von Mises-Fisher Loss for Training Sequence to Sequence Models with Continuous Outputs

Author:Sachin Kumar, Yulia Tsvetkov

Paper: openreview.net/pdf?

论文简述： Softmax函数用于几乎所有现有的用于语言生成的序列到序列模型的最后一层。然而，它通常是计算最慢的一层，将词汇表大小限制为最频繁类型的子集;它有很大的内存占用。为此本文提出了一种用连续嵌入层替换softmax层的通用技术。

TILE: Unsupervised Machine Translation Using Monolingual Corpora Only

Author:Guillaume Lample, Alexis Conneau, Ludovic Denoyer, Marc'Aurelio Ranzato.

Paper:openreview.net/pdf?

论文简述： 提出了一种从两种不同语言的单语语料库中提取句子并将其映射到同一潜在空间的模型。通过学习从共享的特征空间中重构两种语言，该模型有效地学习了不使用任何标记数据的翻译。

TILE: Unsupervised Neural Machine Translation.

Author:Mikel Artetxe, Gorka Labaka, Eneko Agirre, Kyunghyun Cho

Paper:openreview.net/pdf?

论文简述： 针对神经机器翻译（NMT）本文完全消除了并行数据的需要，并提出了一种新的方法，以完全无监督的方式，仅依靠单语语料库来训练一个NMT系统。我们的模型建立在最近关于无监督嵌入映射的工作上，并由一个稍微修改过的注意力编译码器模型组成，该模型可以单独在单语语料库上使用去噪和反向翻译的组合进行训练。