Ernie

作者|PURVA HUILGOL 编译|VK 来源|Analytics Vidhya 介绍 我们正站在语言和机器的交汇处，这个话题我很感兴趣。机器能像莎士比亚一样写作吗？机器能提高我自己的写作能力吗？机器人能解释一句讽刺的话吗？ 我肯定你以前问过这些问题。自然语言处理（NLP）也致力于回答这些问题，我必须说，在这个领域已经进行了突破性的研究，促使弥合人类和机器之间的鸿沟。 文本分类是自然语言处理的核心思想之一。如果一台机器能够区分名词和动词，或者它能够在客户的评论中检测到客户对产品的满意程度，我们可以将这种理解用于其他高级NLP任务。 这就是我们在文本分类方面看到很多研究的本质。迁移学习的出现可能促进加速研究。我们现在可以使用构建在一个巨大的数据集上的预训练的模型，并进行优化，以在另一个数据集上实现其他任务。 迁移学习和预训练模型有两大优势： 它降低了每次训练一个新的深度学习模型的成本 这些数据集符合行业公认的标准，因此预训练模型已经在质量方面得到了审查 你可以理解为什么经过预训练的模特会大受欢迎。我们已经看到像谷歌的BERT和OpenAI的GPT-2这样的模型真的很厉害。在这里中，我将介绍6种最先进的文本分类预训练模型。 我们将介绍的预训练模型： XLNet ERNIE Text-to-Text Transfer Transformer（T5） BPT NABoE

　　 　　自18年底谷歌BERT问世以后，NLP便逐渐步入bert时代，bert家族儿孙满堂，如RoBERTa、ALBert、ERNIE等等，这些bert们正在给并持续给nlp领域输入无限生机，让人工智能皇冠上的明珠更加光彩夺目，在其光芒的照耀下，人类的人工智能之路必定越来越清晰、明朗。 　　通过阅读大量博客资料，知乎专栏和论文，文本以通俗易懂而不失专业的方式总结了Bert以及其13个衍生版本，分享给大家，不足之处，望请指出。后期会不定期分享各个版本bert的详细解读以及实战代码，敬请期待。 　　 1 　　 BERT 　　论文：《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》 　　论文地址：https://arxiv.org/pdf/1810.04805 　　作者/机构：google 　　年份：2018.10 　　 1.1 概述 　　Bert是基于Transformer的深度双向预训练语言模型，神经语言模型可直接用于下游NLP任务的微调。Bert的出现使finetune技术应用于NLP领域真正走向成熟，并在工业界得到了广泛的应用，在不太消耗算力的情况下能显著提升各类任务的性能；在学术界也成为了研究热点，Bert出现会后，基于Bert的各类任务的SOTA模型也逐渐出现

种一棵树，最好的时间是十年前，其次是现在。——Dambisa Moyo 机器之心原创，作者：张倩。 7 月 10 日，自然语言处理顶会 ACL 2020 落下帷幕。本次大会共收到 3429 篇论文投稿，其中 779 篇被接收，接收率为 22.7%，与去年持平，低于近年来大部分年份的接收率。 在这 779 篇论文中，有 185 篇来自中国大陆，占被接收论文总数的 23.7%，仅次于美国。此外，今年的最佳论文二作和最佳 demo 论文一作均为华人学生。 然而，很多人可能不知道，2000 年 ACL 年会在中国香港举办时，只有微软中国研究院的论文来自中国大陆；到了 2005 年，来自大陆的论文也只有三篇。 很多变化是过去十几年发生的，尤其是过去的十年。在这十年里，中国的 NLP 学界在 ACL 年会中的投稿数、被接收论文数逐年上升，同时，中国的 NLP 学者也实现了多个 “第一次” 的突破： 2013 年，王海峰出任 ACL 五十年来首位华人主席； 2014 年，吴华出任 ACL 程序委员会主席，成为中国企业首位 ACL 程序委员会主席； 2015 年，ACL 年会首次在中国举办；大会上，哈工大教育部语言语音重点实验室主任李生教授获得 ACL 终身成就奖，成为首个获得该奖项的华人； 2016 年，赵世奇当选 ACL 秘书长，成为首位当选该职位的亚洲人； 2018 年，ACL

随着预训练技术的到来，作为深度学习重要应用领域之一，自然语言处理也迎来了新的春天。通过使用预训练模型可以大大减少模型训练对数据的依赖，仅需要使用少量数据在下游任务中微调（Fine-tune），就可以获得效果非常优秀的模型。不过如果希望获得更好的效果，该怎么办呢？有人也许会说：多训练几个epoch嘛！但是对于这种单一任务且有监督学习的微调方式，单独增加训练epoch并不是一个好方法，过度的训练容易损害模型的泛化能力，发生过拟合现象。 ​ 要知道训练一个模型就像在养育一个孩子一样。在子女的教育问题上，每个家长都会投入尽可能多的人力和资源，希望把自己孩子教育成才，能够举一反三、触类旁通，成为一个“学霸”。 但是如果到考试时发现自己的孩子只会做课本上的原题，题目稍微改改就做不好，我想家长一定会欲哭无泪吧。相比模型训练又何尝不是呢？开发者不仅要投入大量的服务器硬件资源，还要辛辛苦苦写代码，结果最后训练出的模型泛化能力极差，跳出训练数据的范围，就啥也干不了，相信这绝对不是任何一个开发者希望看到的。 那么有什么方法可以提高模型的泛化能力，让模型可以更加聪明呢？其实可以在微调阶段引入辅助任务信号，通过多任务学习的方式，即将多个目标任务场景联合学习，就可以显著提高模型所学到的表征的通用性，使得模型具备更强的泛化能力。 但是基于传统的深度学习框架，多任务学习方式的代码实现门槛较高，策略调整不够灵活

在2019年深度学习开发者秋季峰会上，百度对外发布飞桨图学习框架PGL v1.0正式版，历经5个月的版本迭代，PGL再度升级，发布v1.1版本，带来了最新的算法突破、全面的工业级图学习框架能力以及工业级的实践案例。下面我们逐一揭秘升级点。 最新算法突破：结合语义与结构信息的图神经网络模型ERNIESage 在很多工业应用中，往往出现如下图所示的一种特殊的图：Text Graph。顾名思义，图的节点属性由文本构成，而边的构建提供了结构信息。如搜索场景下的Text Graph，节点可由搜索词、网页标题、网页正文来表达，用户反馈和超链信息则可构成边关系。 ​ PGL团队提出ERNIESage模型同时建模文本语义与图结构信息，有效提升Text Graph的应用效果。其中ERNIE是百度推出的基于知识增强的持续学习语义理解框架，在中英文16个任务上超越业内同类最优模型，以历史上首次超越90大关的成绩登顶自然语言处理领域最权威的 GLUE评测榜单 ，并在最近SemEval 2020上斩获5项世界冠军。 ERNIESage是ERNIE与GraphSAGE碰撞的结果，是ERNIE SAmple aggreGatE的简称，它的结构如下图所示，主要思想是通过ERNIE作为聚合函数（Aggregators），建模自身节点和邻居节点的语义与结构关系。 ERNIESage对于文本的建模是构建在邻居聚合的阶段

上个月，全球规模最大的语义评测比赛 SemEval 2020 结果出炉，百度基于飞桨平台自研的语义理解框架 ERNIE 一举斩获 5 项世界冠军，囊括视觉媒体的关键文本片段挖掘、多语攻击性语言检测和混合语种的情感分析。去年，ERNIE先后完成两版重大升级：ERNIE 1.0 提出知识增强的语义表示模型， ERNIE 2.0 则构建了持续学习语义理解框架，在中英文 16 个任务上超越业界最好模型。本文将为开发者详细解读ERNIE的进化史。 ERNIE 1.0 ERNIE: Enhanced Representation through Knowledge Integration[1] 是百度在2019年4月的时候，基于BERT模型，做的进一步优化，在中文的NLP任务上得到了state-of-the-art的结果。 它主要是在mask的机制上做了改进，它的mask不是基本的word piece的mask，而是在pretrainning阶段增加了外部的知识，由三种level的mask组成，分别是basic-level masking（word piece）+ phrase level masking（WWM style） + entity level masking。在这个基础上，借助百度在中文社区的强大能力，中文的ERNIE还使用了各种异质(Heterogeneous)的数据集

摘要 人类知识提供了对世界的认知理解。表征实体间结构关系的知识图谱已经成为认知和人类智能研究的一个日益流行的方向。在本次综述论文中，我们对知识图谱进行了全面的综述，涵盖了知识图谱表示学习、知识获取与补全、时序知识图谱、知识感知应用等方面的研究课题，并总结了最近的突破和未来的研究方向。我们提出对这些主题进行全视角分类和新的分类法。知识图谱嵌入从表示空间、得分函数、编码模型和辅助信息四个方面进行组织。对知识获取，特别是知识图谱的补全、嵌入方法、路径推理和逻辑规则推理进行了综述。我们进一步探讨了几个新兴的主题，包括元关系学习、常识推理和时序知识图谱。为了方便未来对知识图的研究，我们还提供了不同任务的数据集和开源库的集合。最后，我们对几个有前景的研究方向进行了深入的展望。 1. 引言 融合人类知识是人工智能的研究方向之一。知识表示与推理是受人类解决问题方式的启发，为智能系统表示知识以获得解决复杂任务的能力。近年来，知识图谱作为结构化人类知识的一种形式，受到了学术界和产业界的广泛关注。知识图谱是事实的结构化表示，由实体、关系和语义描述组成。实体可以是现实世界的对象和抽象概念，关系表示实体之间的关联，实体及其关系的语义描述包含定义良好的类型和属性。属性图或性质图被广泛使用，其中节点和关系具有属性或性质。 知识图谱与知识库是同义的，只是略有不同。当考虑知识图谱的图结构时，知识图谱可以看作是一个图

飞桨(PaddlePaddle)核心框架Paddle Fluid v1.5已经发布，而作为其关键工具，用来迁移学习的PaddleHub也进行了全面更新，正式发布了1.0版本。 全新的PaddleHub模型和任务更加丰富，为用户提供了覆盖 文本 、 图像 和 视频 三大领域八大任务的 40+预训练模型 ，同时还在飞桨官网上开辟了PaddleHub的网页。 本文将对PaddleHub及其更新做更加全面的介绍。 PaddleHub是什么 深度学习模型的价值在AI时代不断增大。要想得到一个高质量的深度学习模型，离不开4个要素，优秀的算法、充足的算力、丰富的数据以及专家知识。大家在深度学习中常常遇到以下问题： 一些研究领域只有少量标注数据，且数据标注成本较高，不足以训练一个足够鲁棒的神经网络 大规模神经网络的训练依赖于大量的计算资源，这对于一般用户而言难以实现 应对于普适化需求的模型，在特定应用上表现不尽如人意 PaddleHub就是为了解决对深度学习模型的需求而开发的工具。 它基于飞桨领先的核心框架，精选效果优秀的算法，提供了百亿级大数据训练的预训练模型，方便用户不用花费大量精力从头开始训练一个模型。PaddleHub可以便捷地获取这些预训练模型，完成模型的管理和一键预测。 配合使用Fine-tune API，可以基于大规模预训练模型快速完成迁移学习

中医药发展已经上升到国家战略高度，中医药AI创新是五千年中医瑰宝的传承利器。2018年我国中药市场规模达到2700亿元，未来5年将达到2万亿元。国内原料药和制剂厂有3994家，其中中药企业2080家。中药强调“道地药材”，经调查药用植物有383科，2039属，11146种(以上内容来自:http://www.yikumed.com/solution/13.html)。 本次使用 EasyDLPro 图像分类对164种中草药材，18种功能类型(清热药,解表药,补虚药,平肝息风药,化湿药,利水渗湿药,温里药,理气药,消食药,止血药,活血化瘀药,化痰止咳平喘药,安神药,收涩药,开窍药,外用药,祛风湿药,泻下药)进行深度学习模型训练，数据集达25w+，基于 paddle-fluid-v1.6.2 通过 ResNet50 网络训练。分类精度均达到85.8%以上，平均每次鉴别仅耗时2-5秒，已经达到很好的水平。结合现代深度学习反向传播提高精准度，为生产过程中错综复杂的参数条件找到最优方案。 什么是EasyDL EasyDL 是基于飞桨框架 PaddlePaddle 推出的面向企业开发者打造的一站式 AI 开发平台，提供从数据管理与标注、模型训练、服务部署的全流程支持，内置丰富的预训练模型，全面支持飞桨 Master 模式；模型训练效果好、训练效率高，并且有完善安全的数据服务，支持端、云

本文用户记录黄埔学院学习的心得，并补充一些内容。 课程2：十行代码高效完成深度学习POC，主讲人为百度深度学习技术平台部：陈泽裕老师。 因为我是CV方向的，所以内容会往CV方向调整一下，有所筛检。 课程主要有以下三个方面的内容： 深度学习POC的基本流程 实用预训练模型应用工具快速验证 通用模型一键检测 十行代码完成工业级文本分类 自动化调参AutoDL Finetuner 一、深度学习POC的基本流程 1.1 深度学习发展历程 2006年，这一年多伦多大学的Geoffrey Hinton教授发表的论文，提出了两个重要观点：（1）多层的神经网络模型有很强的特征学习能力，深度学习模型能够学习到的数据更本质的特征；（2）对于深度神经网络获得全局最优解的问题，可以采用逐层训练方法解决。自此，深度学习迅速发展。2007年，深度学习框架Theano发布，用于优化多维数组的计算。2011年，深度学习首先在语音识别领域取得突破。2012年，Krizhevsky等人首次将卷积神经网络应用至ImageNet图像识别大赛，大获全胜。随后，深度学习在自然语言处理、图像识别等多个领域遍地开发。2016年，基于深度强化学习的AlphaGo战胜李世石，大放异彩，以深度学习为代表的人工智能技术在广大群众中热议。2019年，三位深度学习之父：Geoffrey Hinton， Yann LeCun，和Yoshua