Transformers

作者|ABHISHEK SHARMA 编译|VK 来源|Analytics Vidhya 介绍 自然语言处理是数据科学领域最热门的课题之一。公司在这一领域投入大量资金进行研究。每个人都在努力了解自然语言处理及其应用，并以此为生。 你知道为什么吗？ 因为仅仅在短短几年的时间里，自然语言处理已经发展成为一种无人能想象的强大而有影响力的东西。 为了了解自然语言处理的力量及其对我们生活的影响，我们需要看看它的应用。因此，我列出了自然语言处理的十大应用。 那么，让我们从自然语言处理的第一个应用开始。 搜索自动更正和自动完成 每当你在谷歌上搜索某个东西，在输入2-3个字母后，它会显示可能的搜索词。或者，如果你搜索一些有错别字的东西，它会更正它们，仍然会找到适合你的相关结果。是不是很神奇？ 它是每个人每天都在使用的东西，但从来没有太多的关注它。这是自然语言处理的一个很好的应用，也是一个很好的例子。它影响世界上数百万人，包括你和我。 搜索自动完成和自动更正都有助于我们更有效地找到准确的结果。现在，其他许多公司也开始在他们的网站上使用这个功能，比如Facebook和Quora。 搜索自动完成和自动更正背后的驱动引擎是语言模型。 语言翻译 你有没有用谷歌翻译来找出不同语言中的某个词或短语？它将一段文字用一种语言翻译成另一种语言的容易程度是相当惊人的，对吧？它背后的技术是机器翻译。

SIGIR会议已开，论文已全部放出，已做修改！ 花一个上午的时间整理了一下SIGIR会议的检索相关论文， 主要涉及：文本的表征、检索及重排序、阅读理解，其他等。 不过有一些论文还搜不到（还没放出来），只能把题目挂上来，后续再做补充。 SIGIR会议论文地址如下： SIGIR 2020 ​ sigir.org 一、文本的表征 (1) Convolutional Embedding for Edit Distance Paper： https:// arxiv.org/abs/2001.1169 2 (2) Match^2: A Matching over Matching Model for Similar Question Identification Paper： https:// arxiv.org/abs/2006.1171 9 (3) Hier-SPCNet: A Legal Statute Hierarchy-based Heterogeneous Network for Computing Legal Document Similarity Paper： https:// arxiv.org/abs/2007.0322 5 (4) Attending to Inter-sentential Features in Neural Text Classification

作者：熊唯，黄飞 ，腾讯 PCG/QQ研发中心/CV应用研究组 AI 如果真的可以写代码了，程序员将何去何从？近几年，NLP 领域的生成式任务有明显的提升，那通过 AI 我们可以让代码自动完成后续补全吗？本文主要介绍了如何使用 GPT2 框架实现代码自动补全的功能。 如果 AI 真的可以自己写代码了，程序员将何去何从？ 我去年做过一个代码补全的小功能，打包为 androidStudio 插件，使用效果如下： 代码补全模型预测出的结果有时的确会惊吓到我，这也能学到~? 那如果给它见识了全世界的优秀代码，再给足够量级参数和优秀的模型框架，真的可以实现需求作为输入，直接输出代码吗? "我的需求讲完了，你的代码呢?" 希望可以看到这一天。 代码补齐功能有其他优秀插件也已实现，比如 tabnine，Kite 和国产的 aixcoder。本文主要介绍下代码补全功能需要实现的整套流程。主要包括数据，算法和工程。 数据 众所周知，算法工程师大部分时间都在处理数据。 深度学习是使用大数据训练模型的一个过程，数据是很重要的一个模块。人是会累的，休息不好还导致记忆不好。AI 是你给多少数据它就能存储接收多少数据，学不到信息那是人的错，给的数据不好或者算法设计不好。所以我们先尽可能多的准备好训练数据。 1、数据采集 本文的目的是代码补全，训练数据就是代码段。考虑到每种语言风格和语法都不一致

作者：Marco Cerliani 编译：ronghuaiyang 正文共：2062 字 10 图 预计阅读时间：6 分钟 原文链接： 用Siamese和Dual BERT来做多源文本分类 ​ mp.weixin.qq.com 使用不同的方式来使用BERT模型。 在NLP中不断的研究产生了各种各样的预训练模型。对于各种任务，例如文本分类、无监督主题建模和问题回答等，不断的在刷新业界最佳。其中，最伟大的发现之一是在神经网络结构中采用了注意力机制。这种技术是所有称为 transformers 的网络的基础。他们应用注意力机制来提取关于给定单词上下文的信息，然后将其编码到一个学习到的向量中。 作为数据科学家，我们可以调用很多transformers架构，并使用它们对我们的任务进行预测或微调。在这篇文章中，我们喜欢读经典的BERT，但是同样的推理也适用于其他所有的transformer结构。 我们使用了siamese结构，这是一个双路BERT ，用于多文本输入的分类。 数据 我们从Kaggle上收集数据集。新闻类别数据集： https://www. kaggle.com/rmisra/news- category-dataset 包含从HuffPost上获得的2012年至2018年的约20万条新闻标题。我们需要根据两种不同的文本来源对新闻文章进行分类：标题和简介

作者|ABHISHEK SHARMA 编译|VK 来源|Analytics Vidhya 介绍 自然语言处理是数据科学领域最热门的课题之一。公司在这一领域投入大量资金进行研究。每个人都在努力了解自然语言处理及其应用，并以此为生。 你知道为什么吗？ 因为仅仅在短短几年的时间里，自然语言处理已经发展成为一种无人能想象的强大而有影响力的东西。 为了了解自然语言处理的力量及其对我们生活的影响，我们需要看看它的应用。因此，我列出了自然语言处理的十大应用。 那么，让我们从自然语言处理的第一个应用开始。 搜索自动更正和自动完成 每当你在谷歌上搜索某个东西，在输入2-3个字母后，它会显示可能的搜索词。或者，如果你搜索一些有错别字的东西，它会更正它们，仍然会找到适合你的相关结果。是不是很神奇？ 它是每个人每天都在使用的东西，但从来没有太多的关注它。这是自然语言处理的一个很好的应用，也是一个很好的例子。它影响世界上数百万人，包括你和我。 搜索自动完成和自动更正都有助于我们更有效地找到准确的结果。现在，其他许多公司也开始在他们的网站上使用这个功能，比如Facebook和Quora。 搜索自动完成和自动更正背后的驱动引擎是语言模型。 语言翻译 你有没有用谷歌翻译来找出不同语言中的某个词或短语？它将一段文字用一种语言翻译成另一种语言的容易程度是相当惊人的，对吧？它背后的技术是机器翻译。

这篇paper在去年盲审的时候就读过，这次终于读完了。 FASTER AND JUST AS ACCURATE: A SIMPLE DECOMPOSITION FOR TRANSFORMER MODELS（ 更快且同样准确:Transformer模型的简单分解 ） https://openreview.net/pdf?id=B1gKVeBtDH ​ openreview.net Introduction 文本的研究基于先前的研究： @张俊林 AI科技大本营：张俊林：BERT和Transformer到底学到了什么 | AI ProCon 2019 ​ zhuanlan.zhihu.com 较低的层次倾向于对局部现象建模(如词性、句法范畴)，而较高的层次倾向于对依赖于任务的语义现象建模(如词性、句法范畴)，可以以很小的效率成本提供加速。 DeFormer引入一个简单的分解预训练的基于转换的模型，在分解的模型中，较低的层独立地处理问题和上下文文本，而较高的层联合地处理它们。假设我们允许n层模型中的k个更低的层独立地处理问题和上下文文本。DeFormer通过k个较低的层离线处理上下文文本，并缓存第k层的输出。在运行时，首先通过模型的k层处理问题，然后从缓存加载第k层的文本表示。这两个第k层表示被作为输入输入到第(k + 1)层，并通过与原始模型相同的更高的层继续进行进一步的处理。

https://blog.csdn.net/sjyttkl/article/details/105052669 文标题： Thomas Bachlechner, Bodhisattwa Prasad Majumder, Huanru Henry Mao, Garrison W. Cottrell, Julian McAuley 论文作者： Thomas Bachlechner, Bodhisattwa Prasad Majumder, Huanru Henry Mao, Garrison W. Cottrell, Julian McAuley 论文链接： https://arxiv.org/abs/2003.04887 代码链接： https://github.com/majumderb/rezero 深度学习在众多领域都取得了显著进展，但与此同时也存在一个问题：深层网络的训练常常面临梯度消失或梯度爆炸的阻碍，尤其是像 Transformer 这样的大型网络。现在，加州大学圣迭戈分校的研究者提出了一种名为 ReZero 的神经网络结构改进方法，并使用 ReZero 训练了具有一万层的全连接网络，以及首次训练了超过 100 层的 Tansformer，效果都十分惊艳。 深度学习在计算机视觉、自然语言处理等领域取得了很多重大突破。神经网络的表达能力通常随着其网络深度呈指数增长

作用： 1、可以把依赖打入jar包，然后直接使用这个jar包，从而不用担心依赖问题 2、通过设置MainClass，创建一个可以执行的jar包 3、Java工程经常会遇到第三方 Jar 包冲突，使用 maven shade plugin 可以解决 jar 或类的多版本冲突。 maven-shade-plugin 在打包时，可以将项目中依赖的 jar 包中的一些类文件打包到项目构建生成的 jar 包中，在打包的时候把类重命名 3、Resource Transformers可以对多个依赖包的冲突内容进行处理 Merging Content of Specific Files with AppendingTransformer, XmlAppendingTransformer and ResourceBundleAppendingTransformer Some jars contain additional resources (such as properties files) that have the same file name. To avoid overwriting, you can opt to merge them by appending their content into one file. One good example for this is when

作者|huggingface 编译|VK 来源|Github 该库中可用的大多数模型都是单语言模型(英语，中文和德语)。有一些多语言模型可用，并且与单语言模型具有不同的机制。本页详细介绍了这些模型的用法。 当前支持多种语言的两个模型是BERT和XLM。 XLM XLM共有10个不同的checkpoints，其中只有一个是单语言的。剩下的9个模型checkpoints可以分为两类：使用语言嵌入的checkpoints和不使用语言嵌入的checkpoints XLM和语言嵌入 本节涉及以下checkpoints： xlm-mlm-ende-1024 (掩码语言建模，英语-德语) xlm-mlm-enfr-1024 (掩码语言建模，英语-法语) xlm-mlm-enro-1024 (掩码语言建模，英语-罗马尼亚语) xlm-mlm-xnli15-1024 (掩码语言建模，XNLI语言) xlm-mlm-tlm-xnli15-1024 (掩码语言建模+翻译，XNLI语言) xlm-clm-enfr-1024 (因果语言建模，英语-法语) xlm-clm-ende-1024 (因果语言建模，英语-德语) 这些checkpoints需要语言嵌入，这些语言嵌入将指定推理时使用的语言。这些语言嵌入表示为张量，其形状与传递给模型的输入idS相同。这些张量中的值取决于所使用的语言

　　机器之心报道 　　 机器之心编辑部 　　 昨日，腾讯发布了在 GitHub 上的第 100 个开源项目「TurboTransformers」，在多种 CPU 和 GPU 硬件测试中，这款 Transformer 推理加速工具获得了超越 PyTorch/TensorFlow 和目前主流优化引擎的性能表现。 　　 　　在自然语言处理领域，以 BERT 为代表的 Transformer 神经网络模型是近年来最重要的模型创新，为诸如阅读理解、文章摘要、语义分类、同义改写等 NLP 任务带了显著的效果提升。但 Transformer 在提高模型精度的同时，也引入了更多的计算量，这导致 Transformer 的线上 NLP 服务在部署方面面临着巨大挑战。 　　 　　业界普遍采用 TensorFlow 或者 Pytorch 来完成 Transformer 的训练部分，但由于深度学习的训练和推理任务存在差异，训练框架直接应用于线上推理并不能得到极致的性能。 　　昨日，腾讯宣布开源 Transformer 推理加速工具「TurboTransformers」。Turbo 的意思是「涡轮」，一般用来增加发动机氧气含量，带来更大动力，TurboTransformers 则意味着可使推理引擎更加强劲。 　　项目地址：https://github.com/Tencent