Ernie

【推荐阅读】微服务还能火多久？>>> PaddlePALM English | 简体中文 PaddlePALM (PArallel Learning from Multi-tasks) 是一个灵活，通用且易于使用的NLP大规模预训练和多任务学习框架。 PALM是一个旨在 快速开发高性能NLP模型 的上层框架。 使用PaddlePALM，可以非常轻松灵活的探索具有多种任务辅助训练的“高鲁棒性”阅读理解模型，基于PALM训练的模型 D-Net 在 EMNLP2019国际阅读理解评测 中夺得冠军。 MRQA2019 排行榜 除了降低NLP研究成本以外，PaddlePALM已被应用于“百度搜索引擎”，有效地提高了用户查询的理解准确度和挖掘出的答案质量，具备高可靠性和高训练/推理性能。 特点: 易于使用 ：使用PALM， 8个步骤 即可实现一个典型的NLP任务。此外，模型主干网络、数据集读取工具和任务输出层已经解耦，只需对代码进行相当小的更改，就可以将任何组件替换为其他候选组件。 支持多任务学习 ： 6个步骤 即可实现多任务学习任务。 支持大规模任务和预训练 ：可自动利用多gpu加速训练和推理。集群上的分布式训练需要较少代码。 流行的NLP骨架和预训练模型 ：内置多种最先进的通用模型架构和预训练模型(如BERT、ERNIE、RoBERTa等)。 易于定制 ：支持任何组件的定制开发(例如

近日，全球规模最大的语义评测比赛 SemEval 2020 结果出炉，百度基于飞桨平台自研的语义理解框架 ERNIE 一举斩获 5 项世界冠军，囊括视觉媒体的关键文本片段挖掘、多语攻击性语言检测和混合语种的情感分析。 下载安装命令 ## CPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle ## GPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu ​ SemEval 是全球范围规模最大、参赛人数最多的权威语义评测竞赛。其由国际计算语言学协会（Association for Computational Linguistics, ACL）的 SIGLEX 主办。自 2001 年起，SemEval 已成功举办十四届，在业界和学术界具有极高影响力。此次 SemEval 将和自然语言处理领域的顶级会议 COLING 联合举办。 ERNIE 是此次五项世界冠军背后的「趁手利器」。去年，ERNIE先后完成两版重大升级。ERNIE 1.0 提出知识增强的语义表示模型， 而 ERNIE 2.0 则构建了持续学习语义理解框架，在中英文 16 个任务上超越业界最好模型 。 此后

3 月，跳不动了？>>> 欢迎使用 PaddleHub ！ PaddleHub是飞桨预训练模型管理和迁移学习工具，通过PaddleHub开发者可以使用高质量的预训练模型结合Fine-tune API快速完成迁移学习到应用部署的全流程工作。其提供了飞桨生态下的高质量预训练模型，涵盖了图像分类、目标检测、词法分析、语义模型、情感分析、视频分类、图像生成、图像分割、文本审核、关键点检测等主流模型。更多模型详情请查看官网： https://www.paddlepaddle.org.cn/hub 基于预训练模型，PaddleHub支持以下功能： 命令行工具 ，通过Python API或命令行方便快捷地完成模型的搜索、下载、安装、升级、预测等功能 迁移学习 ，用户通过Fine-tune API，只需要少量代码即可完成自然语言处理和计算机视觉场景的深度迁移学习。 服务化部署 ，简单一行命令即可搭建属于自己的模型的API服务。 超参优化 ，自动搜索最优超参，得到更好的模型效果。 PaddleHub 特性 命令行工具 借鉴了Anaconda和PIP等软件包管理的理念，开发了PaddleHub命令行工具。可以方便快捷的完成模型的搜索、下载、安装、升级、预测等功能。 更加详细的使用说明可以参考 PaddleHub命令行工具 。 目前的预训练模型覆盖了图像分类、语义模型、视频分类、图像生成、图像分割

3 月，跳不动了？>>> 作者：才能我浪费99 1. 简介： 1.1. 什么是EasyDL专业版 EasyDL专业版是EasyDL在2019年10月下旬全新推出的针对AI初学者或者AI专业工程师的企业用户及开发者推出的AI模型训练与服务平台，目前支持视觉及自然语言处理两大技术方向，内置百度海量数据训练的预训练模型，可灵活脚本调参，只需少量数据可达到优模型效果。 适用人群： 专业AI工程师且追求灵活、深度调参的企业或个人开发者 支持定制模型类型。 1.2. 支持视觉及自然语言处理两大技术方向: 视觉：支持图像分类及物体检测两类模型训练。 任务类型: 预置算法 图像分类： Resnet(50,101)、Se_Resnext(50,101)、Mobilenet Nasnet 物体检测： FasterRCNN、YoloV3、mobilenetSSD 自然语言处理：支持文本分类及短文本匹配两类模型训练，内置百度百亿级数据所训练出的预训练模型ENNIE. ERNIE(艾尼）是百度自研持续学习语义理解框架，该框架可持续学习海量数据中的知识。基于该框架的ERNIE2.0预训练模型，已累计学习10亿多知识，中英文效果全面领先，适用于各类NLP应用场景。 任务类型 ：预置网络 文本分类： BOW、CNN、GRU、TextCNN、LSTM、BiLSTM 短文本匹配：SimNet(BOW、CNN、GRU

ERNIE 2.0: A Continual Pre-training Framework for Language Understanding Pre-Training 任务 Word-aware Tasks Knowledge Masking Task Capitalization Prediction Task Token-Document Relation Prediction Task Structure-aware Tasks Sentence Reordering Task Sentence Distance Task Semantic-aware Tasks Discourse Relation Task IR Relevance Task ERNIE 1.0: E nhanced R epresentation through k N owledge I nt E gration 对比 ERNIE 1.0 和 ERNIE 2.0 效果验证 中文效果验证 英文效果验证 ERNIE tiny 技术交流 使用 arxiv: ERNIE 2.0: A Continual Pre-training Framework for Language Understanding , link ERNIE 2.0 是基于持续学习的语义理解预训练框架，使用多任务学习增量式构建预训练任务

任务简介 EasyDL专业版平台将支持代码级的NLP任务包括文本分类任务和短文本匹配任务。同时平台集成了ERNIE2.0预训练模型，可以选择ERNIE-Base、ERNIE-Large、ERNIE-Tiny三种类型的预训练模型。 预训练模型ERNIE ERNIE 是一个从海量无监督数据中学习大量知识的超大预训练模型，通过将 ERNIE 模型中的这些知识迁移到上层特定任务相关的网络从而显著提升任务效果；基于 ERNIE 来 Finetune 特定任务就好比是站在巨人的肩膀上看世界，起点会显著高于从 0 开始训练特定任务的深度学习模型；您可以通过 ERNIE官网 查看最新动态和相关信息。 不同版本的ERNIE特点 Base 模型的网路结构主体由 12 层 transformer block 构成，此版本的预测精度、预测性能、训练速度相对均衡 Large模型拥有更大的参数量，以及更好的 Finetune 效果，Large模型网络结构主体由 24 层Transformer Block构成，此版本的预测精度突出 Tiny模型有更浅的模型，在实际真实数据中有超过4倍的预测提速，预测精度逼近Base版 文本分类 文本分类任务中，平台提供的网络有：BOW、CNN、GRU、TextCNN、LSTM、BiLSTM； 同时，平台提供了BOW、CNN、GRU、TextCNN、LSTM

目录 专业版简介 专业版使用流程 专业版产品特性 专业版简介 EasyDL专业版 是EasyDL在2019年10月下旬全新推出的针对 AI初学者 或者 AI专业工程师 的企业用户及开发者推出的AI模型训练与服务平台，目前支持视觉及自然语言处理两大技术方向，内置百度海量数据训练的预训练模型，可灵活脚本调参，只需少量数据可达到优模型效果。 适用人群 专业AI工程师且追求灵活、深度调参的企业或个人开发者 支持定制模型类型 支持视觉及自然语言处理两大技术方向 视觉 ：支持图像分类及物体检测两类模型训练 任务类型 预置算法 图像分类 Resnet(50,101)、Se_Resnext(50,101)、Mobilenet Nasnet 物体检测 FasterRCNN、YoloV3、mobilenetSSD 自然语言处理 ：支持文本分类及短文本匹配两类模型训练，内置百度百亿级数据所训练出的预训练模型ENNIE. ERNIE(艾尼）是百度自研持续学习语义理解框架，该框架可持续学习海量数据中的知识。基于该框架的ERNIE2.0预训练模型，已累计学习10亿多知识，中英文效果全面领先，适用于各类NLP应用场景。 了解ERNIE 任务类型 预置网络 文本分类 BOW、CNN、GRU、TextCNN、LSTM、BiLSTM 短文本匹配 SimNet(BOW、CNN、GRU、LSTM)、FC 序列标注 CRF

目录 一站式AI服务 高精度训练效果 丰富的服务部署方式 完善安全的数据服务 一站式AI服务 EasyDL提供围绕AI服务开发的端到端的一站式AI开发和部署平台，包括数据上传、数据标注、训练任务配置及调参、模型效果评估、模型部署，同时EasyDL面向不同用户提供了不同的训练平台，包括适用AI零基础或追求高效率开发的用户使用的经典版、适用AI初学者和AI专业用户使用的专业版、专为零售行业客户提供的零售版三种平台级方案，方便各类企业用户及个人开发者使用。 操作流程 Step 1 创建模型 确定模型名称，记录希望模型实现的功能 Step 2 上传并标注数据 分类功能的模型：在相应的分类标签下上传图片、文本、音频或视频等未标注或已标注数据。其中未标注数据支持在线标注。 检测功能的模型：上传数据后，需要在数据中标注出需要检测的具体目标 Step 3 训练模型并校验效果 选择算法、配置训练数据及其他任务相关参数完成训练任务启动。模型训练完毕后支持可视化查看模型评估报告，并通过 模型校验 功能在线上传数据测试模型效果。 Step 4 发布模型 将效果满意的模型选择训练任务版本，发布为API/设备端SDK/本地化部署/软硬一体设备。 更详细的操作指导，请参考各类模型的技术文档 高精度训练效果 EasyDL基于基于Paddle Paddle飞桨深度学习框架构建而成

由国家三部委联合指导，厦门市政府主办，百度公司承办的中国人工智能大赛·语言与知识技术竞赛（个人赛）将于3月初正式开赛。本次竞赛围绕“机器阅读理解”主题展开，参赛者需要“闯过”一个个观点型问题的机器阅读理解任务，根据搜索场景中用户输入的观点型问题，从数据集中抽取出能够回答用户问题的答案段落摘要，并给出摘要中包含的是非观点。 ​ 竞赛基于百度深度学习平台飞桨，提供了面向真实应用的、开放域的、最大规模的中文问答阅读理解数据集DuReader。竞赛分个人赛和团体赛，其中 个人赛总奖池12万元 ，团体赛将获得厦门市政府专项落户、扶持政策和创新创业培训课程等支持。所有获奖选手均获得中国人工智能大赛组委会颁发的国家级AI竞赛证书。 今天我们为大家准备了四个参赛锦囊，包括：官方基线系统、B站直播课程、在线交流答疑群、免费GPU算力，助力参赛选手取得优异成绩。 锦囊一：基于飞桨的官方基线系统 本次竞赛的官方基线系统已正式发布在AI Studio，该系统在观点型数据集上 使用预训练模型ERNIE进行微调 ，模型基于深度学习平台飞桨完成。全部的训练数据将于3月6日正式发布，选手需通过报名审核后获取竞赛专用数据集。 官方基线系统地址： https://aistudio.baidu.com/aistudio/projectdetail/247636 锦囊二：B站直播14天带你入门NLP

2019已经悄然落幕，在过去一年中，飞桨加速崛起，在产品性能上高效迭代，并屡次斩获多项大奖，其取得的成绩有目共睹，这也意味着飞桨正领衔中国深度学习框架迎来高光时刻。现在，让我们一起来回顾一下2019关于飞桨的那些重要记忆。 01 核心发布 一、 版本迭代 2019年，飞桨一共进行了4次大版本迭代，同时还推出了语义理解框架ERNIE，产品体验大幅提升，核心技术显著增强。 V1.3 3月，飞桨统一Executor和ParallelExecutor接口，正式发布AnalysisConfig 预测接口，支持计算图分析、算子融合等优化；模型库新增发布飞桨视频模型库，提供5个视频分类经典模型以及适合视频分类任务的通用骨架代码；新增支持NLP语义表示BERT模型，支持多机多卡训练，支持混合精度训练，训练速度对比主流实现提升50%+；发布大规模稀疏参数服务器Benchmark。 V1.4 4月，飞桨正式发布模型压缩工具包PaddleSlim和模型预测服务Paddle Serving，全面提升飞桨部署能力。正式发布视频分类工具包，覆盖主流视频分类模型；正式发布PaddleNLP，工业级中文NLP工具与预训练模型集。正式发布PaddleHub预训练模型管理工具，提供包括预训练模型管理、命令行一键式使用和迁移学习三大功能。发布业界领先的超大规模并行能力，包括大规模稀疏参数服务器解决方案、工业级数据处理