自然语言处理

20世纪以来，自然语言处理（NLP）领域的发展涌现了许多创新和突破。NLP中许多之前机器不可能完成的任务，如阅读理解、人机对话、自动写新闻稿等，正逐渐成为现实，甚至超越了人类的表现。 如果总结过去20年里，无数先辈辛劳付出带来的璀璨成果，以下3个代表性工作列入NLP名人堂，应该实至名归： 1）2003年Bengio提出神经网络语言模型NNLM， 从此统一了NLP的特征形式——Embedding； 2）2013年Mikolov提出词向量Word2vec ，延续NNLM又引入了大规模预训练（Pretrain）的思路； 3）2017年Vaswani提出Transformer模型， 实现用一个模型处理多种NLP任务。 基于Transformer架构，2018年底开始出现一大批预训练语言模型，刷新众多NLP任务，形成新的里程碑事件。本文将跨越2018-2020，着眼于3个预训练代表性模型BERT、XLNet和MPNet，从以下4个章节介绍NLP预训练语言模型的发展变迁史： 1.BERT 原理及 MLM 简述 2.XLNet 原理及 PLM 简述 3.MPNet 原理及创新点简述 4.NLP预训练模型趋势跟踪 附录：快速上手BERT的4大工具包 1.BERT 原理及 MLM 简述 自谷歌2018年底开源BERT，NLP界的游戏规则某种程度上被“颠覆”了；一时间，这个芝麻街的可爱小黄人形象

官方最新中文教程！课程代码全开源～多位百度工程师联合授课、七位核心开发者全程答疑。 真保姆级零基础深度学习教程 《深度学习7日打卡营_极速入门特辑》将于2月3日— 2月10日 免费 开放！ 课程报名渠道 ： 扫码关注【 飞桨 】公众号，回复【 开源神器 】，加入课程qq群 （直播提醒、课程答疑在这里哦）， 每晚 20:30—21:30 直播授课～ 本课程内涵深度学习神器高层API使用教程，使用高层API后，在同一个深度学习任务中，原始的训练代码需要57多行代码才能完成，使用高层API后，仅用18行代码即可实现相同的功能。 神器高层API 会贯穿课程全程，可使学习成本减半、开发效率飙升、分分钟让你技术提高好几个level～ 在7天中，你将直接跳过冗长的理论、复杂的调试，快速掌握深度学习任务的通用套路，能够独立完成模型搭建、训练及部署，能解决面试中最常被问到的深度学习任务，理论实战双丰收。 另外，通关即可获得 官方认证结业证书 ，赢取机械键盘、小度在家、小度音箱、 飞桨 超大鼠标垫、全24节气冰箱贴、新春立体剪纸贺卡、百度网盘会员、牛帽子的小度熊、锦鲤尾巴的小度熊、鳄鱼脑袋的小度熊等有点实用有点可爱的 奖品 ～ 课程大纲 Day1、深度学习任务解析与高层API用法 Day2、基于resnet的十二生肖分类任务详解 Day3、深度学习CV进阶：人脸关键点检测 Day4

本文中的闪图复制自北岭加州州立大学（California State University, Northridge） 网页 https://www. csun.edu/~vcpsy00h/crea tivity/define.htm 注：文末附交流群，最近赶ACL，比较忙，很多同学加了没有回过期了，可以重新加一下，备注好的一定会回复，敬请谅解。 这是我在1993年写给一名学生的信，内容涉及他的论文初稿。2003年，我修改了一下这封信，删除了与该学生相关的具体内容，并将修改后的这封信作为对所有研究生的额外知识要求。 I wrote this in 1993 as a letter to a student concerning a draft of his dissertation. in 2003 I edited it to remove some specific references to the student and present it as a small increment to the information available to my grad students. --spaf 先让我以一些看似显而易见的事情开始。Let me start by reviewing some things that may seem obvious: 第一

作者|陈大鑫、青暮 原文链接： https://mp.weixin.qq.com/s/baV9qKI73NrfsOZNbmSJ8g ​ mp.weixin.qq.com 当今世界人工智能领域，有三位AI学者被业内奉为“神一样的存在”，其中两位来自加拿大，一位来自法国。 他们就是2018年的图灵奖得主 Geoffrey Hinton 、 Yoshua Bengio ，以及我们今天要着重介绍的 Yann LeCun （以下简称“LeCun”)——纽约大学终身教授、纽约大学数据科学中心的创始人、Facebook人工智能研究院首席科学家。 LeCun是法国学术界非常引以为豪的科学家，也是在美国科技巨头公司中担任要职的为数不多的法国人。虽然同为“极客”，但法国人独特的气质让LeCun和很多美国科学家相比，看起来更加随意、富有亲和力。 他所开发的手写数字辨识模型LeNet，不但是反向传播算法的首次被实践，也证实了Hinton的想法是可行的，更是计算机视觉中常见的卷积神经网络原型。 在这篇文章中，AI科技评论将带大家回顾LeCun的一路走来的六十年。 ——1—— 从“2001太空漫游”到单板机 LeCun全名为Yann André Le Cun，他于1960年7月8日出生于法国巴黎西北边的一个小镇上。而Yann LeCun这个名字的由来，则是因为他考虑到自己的发展重心是美国和加拿大

3 月 18 日，由李飞飞担任所长之一的「以人为本人工智能研究所」（HAI）自启动以来不短的时间后，终于完成了正式成立的高光时刻。而正式上线的官网日前也更新了两条博文，一篇是详尽介绍 HAI 的文章；另一篇则是今天要给大家介绍的斯坦福 HAI 版人工智能简史图，图中涵盖的信息包括：人工智能大事记、全球人工智能初创公司布局、人工智能的普及度进展、人工智能的研究和教育进展以及斯坦福的人工智能突破性成果和人工智能课程。 而之所以给此图加上「斯坦福 HAI 版」的前缀，则是因为本图笼罩着满满的「斯坦福」光环。本图虽然不够详尽，但是作为大家一窥人工智能历史以及目前相关进展的精简版素材，还是足够的。 下面就一起逐个看看吧~ 人工智能大事记 1955 年，在达特矛斯会议上，当时备受尊敬的计算机科学家约翰·麦卡锡首度提出「人工智能」这一概念。之后，本次会议也被视作人工智能正式诞生的标志，而提出者约翰·麦卡锡也被誉为「人工智能之父」。 1963 年，「人工智能之父」约翰·麦卡锡创建了斯坦福人工智能实验室（SAIL，Stanford Artificial Intelligence Laboratory）。该实验室拥有多个领域的专家，涉及机器人技术、计算机视觉、机器学习、图像处理、自然语言处理等多个领域，代表人物包括一大批在人工智能领域闻名遐迩的人物，如 Christopher Manning 、吴恩达

尽管很多学校大一就开始教C/C++，但对学生技术水平和基本功的 提升 ，并没有起到太大作用。 究其原因 ，主要是学校的课程缺乏实践性，很多东西在考完之后就忘了， 没有深入的应用 。所以很多人就停留在了靠死记硬背的水平上。 此外 ，课上所讲的内容跟现实工作中的需求严重脱节，考试拿了高分，不意味着你就可以上手开发了。 而今天要给大家推荐的这个训练营，由国内数字人才教育界的独角兽——开课吧出品，让你通过3天的“集训”， 深入C++代码实现原理， 提高工程开发能 力 ： 3天训练营 原价 599 元 本公众 号粉丝 0元 即可报名 名额仅限前 100 位 报满即恢复原价 立即扫码、先人一步 长按3秒 即可扫码 注意！ 现在报名还送重磅福利！ 《printf函数实现》精讲视频 10小节实操教学视频，带你一次性搞定printf函数 视频资料由 C语言与算法数据结构学科创始人、哈尔滨理工大学计算机特邀讲师 于方泽讲解录制，现在，只要报名这个训练营，这份干货满满的学习视频就 免费赠送 给你。 01/ 这个训练营含金量有多高? ACM金牌+一线资深技术导师 训练营由 ACM金牌得主、百度NLP引擎的开发者 ——胡光老师全程直播授课。 计软专业的同学基本都知道ACM竞赛，它是公认最顶级的算法竞赛，被称为『 算法竞赛的奥林匹克 』。 胡光老师早在10年前就拿过ACM亚洲区的金牌，并2次晋级全球总决赛

作者｜Sebastian Ruder 来源｜机器之心编辑部 去年有哪些机器学习重要进展是你必须关注的？听听 DeepMind 研究科学家怎么说。 2020 年因为新冠疫情，很多人不得不在家工作和学习，大量人工智能学术会议也转为线上。不过在去年我们仍然看到了很多 AI 技术领域的进展。DeepMind 研究科学家 Sebastian Ruder 近日帮我们对去年的机器学习社区进行了一番总结。 首先你必须了解的是：这些重点的选择基于作者个人熟悉的领域，所选主题偏向于表示学习、迁移学习，面向自然语言处理（NLP）。 如果读者有不同的见解，可以留下自己的评论。 Sebastian Ruder 列出的 2020 年十大机器学习研究进展是： 大模型和高效模型 语言模型从 2018 年到 2020 年的发展（图片来自 State of AI Report 2020）。 2020 年发生了什么？ 在过去的一年，我们看到了很多前所未有的巨型语言和语音模型，如 Meena（Adiwardana et al., 2020）、 Turing-NLG、BST（Roller et al., 2020） 和 GPT-3（Brown et al., 2020） 。与此同时，研究人员们也早已意识到训练这样的模型要耗费过量的能源（Strubell et al., 2019），并转而探索体量更小、效果仍然不错的模型

PaperWeekly 致力于推荐最棒的工作机会，精准地为其找到最佳求职者，做连接优质企业和优质人才的桥梁。如果你需要我们帮助你发布实习或全职岗位，请添加微信号 「pwbot02」 。 快手是北京快手科技有限公司旗下的产品。 快手的前身，叫“GIF 快手”，诞生于 2011 年 3月，最初是一款用来制作、分享 GIF 图片 的手机应用。2012 年 11 月，快手从纯粹的工具应用转型为短视频社区。2018 年 6 月，快手全资收购 A 站。2019 年底，快手宣布 DAU 达到 3 亿。2020 年《春节联欢晚会》，快手成为独家互动合作伙伴，并在除夕当晚发放 10 亿元现金红包。 内容理解算法工程师 招聘性质： 实习生、社招为主，方向匹配的校招生也可以考虑。 工作地点： 北京 岗位描述： 1. 负责视频内容理解、多标签等相关算法的研发和落地； 2. 负责快手短视频、直播、商业化等场景的多模态内容理解工作，应用计算机视觉、NLP 等技术，提升短视频、直播及商业化的推荐、搜索的效果和体验； 3. 负责视频相关的语义理解、标签识别等工作，基于视频内容和用户行为构建 embedding 特征，持续优化并时刻保持技术先进性，将业界 SOTA 模型落地并改进以获取业务线上收益，并保持独立创新； 4. 负责相关的文本理解、视觉检索、视频生成等工作。 岗位要求： 1. 社招：2-5 年工作经验

ACL2021目前距离投稿还有10天左右时间。之前建立了交流群，方便大家交流。 有投稿的同学可以加群交流，进群的各位同学请将备注改为 姓名+学校+方向 ，便于交流，大家交流的时候不要透露投稿id，不要透露任何违背双盲原则的信息，感谢大家配合。 想要入群的同学，可以添加yizhen-nlp ，备注 ACL-学校-姓名-方向（由于是我个人的微信号，不加备注不会接受同意，望谅解），一定要有投稿需求的同学，谢谢 。 推荐阅读 NAACL2021-交流群 【招人】腾讯广告业务线 赛尔笔记 | 篇章级机器翻译简介 清华CoAI课题组新书《现代自然语言生成》正式发布！ GPT“高仿”系列开源了！最大可达GPT-3大小，还能自主训练 ACL 2021投稿避坑指南 我，大学没毕业，在OpenAI搞AI，想教教你如何提升“研究品味” 推荐几本经典AI书籍！ 赛尔原创@AAAI 2021 | 纠结于联合学习中的建模方法？快来看看图网络显式建模! 如何提高PyTorch“炼丹”速度？这位小哥总结了17种方法，可直接上手更改的那种 斯坦福CS224W《图机器学习》2021开课！Jure Leskovec大牛主讲，附课程PPT下载 ICLR2021放榜！录取860篇，接受率为28.7%！ 计算机视觉中的Transformer 第二十届中国计算语言学大会（CCL 2021）技术评测任务征集 完全图解GPT-2

上大学前，我 一直觉得学数学是个挺轻松的事儿，只要能理解定理的推导逻辑，就一通百通了，考试前根本不用突击复习。 但上了大学我就被“教育”了，一是难度骤然提升，很多东西难以理解；二是那会儿过于放纵，没好好上课看书，东西自然学不透。想来，还要感谢那些名捕老师，为了熬到学分，总算没特别荒废。然而工作后，我就彻底将数学抛之脑后了，毕竟日常编程用不到太高深的数学知识。 比如，算法涉及大量数学基础和相关背景知识，图形处理相关的算法，大量的线性代数矩阵变换等等，Google 还曾用一道数学题作为投递简历的门槛，之前朋友圈就被这个招聘广告牌刷过屏。 其实，不止是 Google，随便翻翻招聘启事，你就会发现，很多大公司在招应届研发时，都会优先考虑数学专业的毕业生。 无论是数据结构与算法，还是程序设计，底层原理和思路都源自数学，在大数据和智能化的时代，学好数学更是门槛本身。 所以说，数学基础的好坏，会直接决定一个程序员的发展潜力。如果你真挺喜欢写程序，还想写点更难更好玩的程序，总有一天你要过数学这道坎儿。这一点，做算法和人工智能的朋友应该深有体会。 市面上的数学资料我看了不少，不是太难就是太抽象，能深入浅出的确实不多， 《程序员的数学基础课》 就是其中一个。跟着学下来，让我把算法和数学模型都串联起来，还理清了之前的一些盲点，有时间一定二三刷。 这门课非常适合 想扎实数学基础的程序员和准程序员