论文速览｜更好的预训练句子编码器（微软EMNLP 2020）

Title： Cross-Thought for Sentence Encoder Pre-training
Paper： https://arxiv.org/abs/2010.03652
GitHub： https://github.com/shuohangwang/Cross-Thought

来源： EMNLP 2020
机构： Microsoft

这篇论文提出了 Cross-Thought，一个预训练句子编码器，为大规模NLP任务提供可复用的句子embeddings。和直接使用整句的原始信息不同的是，该模型在大量短序列中训练基于Transformer的序列编码器，这使得模型可以自动选择最有用的信息来预测被遮盖的单词。在问答和文本蕴含任务中，该预训练编码器表现得更出色，并在HotpotQA上通过提高中间信息检索性能而获得SOTA。通过进一步的微调，可以在众多的NLP任务中击败几个有力的baselines。