gpt-2

来自量子位 前两天发了一个文章，盘点了GitHub上比较沙雕的项目 这 7 个 GitHub 项目太沙雕了！ ，今天再盘点一个。 如何才能写出一篇浙江省高考满分作文？ 就在最近，浙江省作文阅卷大组组长钦点的满分作文火了： 但也备受争议 —— 嚆矢、滥觞、祓魅、婞直、振翮 —— 明明都是汉字，组合在一起都看不懂，加上海德格尔、卡尔维诺，更是让诸多网友高呼学不了、学不了。 然而，现在有了简单、粗暴，人人都能上手的方法。 比如写一篇文学逼格方向： 又比如计算机学科方向： 当然，或许你也会说，这是不是都得需要相关方向的高深造诣才行呀？ 不不不。 你只需要这个 “满分作文生成器” 满分作文生成器：都是套路 这篇高考满分作文，走的是哲学流派，那么如果我是研究语言学的呢？ 没关系，生成器一样搞定。 选择「文学」类别，系统自动生成学科的代表人物、关联学科、学科流行的派别和思想、专业术语等等。 然后，就能自动生成一篇同样风格的满分作文： 谈「欲望机器」，却丝毫没有粗鄙下流之言，处处体现作者广博深厚的文学积累，和严肃深邃的沉思，满分！ 不光是人文学科，理工科主题，照样能写出满分作文，比如计算机科学： 生成的文章有板有眼，在追求计算机科学意义的道路上，还操心着数学与哲学的对接？感觉是一个文理全才了，没理由不给满分： 同理，这个生成器毫无压力的应对物理学、生物学、数学等等。 等一下，怎么还有 入关学 ？？

ACL2021目前距离投稿还有10天左右时间。之前建立了交流群，方便大家交流。 有投稿的同学可以加群交流，进群的各位同学请将备注改为 姓名+学校+方向 ，便于交流，大家交流的时候不要透露投稿id，不要透露任何违背双盲原则的信息，感谢大家配合。 想要入群的同学，可以添加yizhen-nlp ，备注 ACL-学校-姓名-方向（由于是我个人的微信号，不加备注不会接受同意，望谅解），一定要有投稿需求的同学，谢谢 。 推荐阅读 NAACL2021-交流群 【招人】腾讯广告业务线 赛尔笔记 | 篇章级机器翻译简介 清华CoAI课题组新书《现代自然语言生成》正式发布！ GPT“高仿”系列开源了！最大可达GPT-3大小，还能自主训练 ACL 2021投稿避坑指南 我，大学没毕业，在OpenAI搞AI，想教教你如何提升“研究品味” 推荐几本经典AI书籍！ 赛尔原创@AAAI 2021 | 纠结于联合学习中的建模方法？快来看看图网络显式建模! 如何提高PyTorch“炼丹”速度？这位小哥总结了17种方法，可直接上手更改的那种 斯坦福CS224W《图机器学习》2021开课！Jure Leskovec大牛主讲，附课程PPT下载 ICLR2021放榜！录取860篇，接受率为28.7%！ 计算机视觉中的Transformer 第二十届中国计算语言学大会（CCL 2021）技术评测任务征集 完全图解GPT-2

点击上方“AI公园”，关注公众号，选择加“星标“或“置顶” 作者： Alireza Dirafzoon 编译：ronghuaiyang 导读 在单GPU上就可以运行的Transformer模型，而且几乎不损失精度，了解一下？ 如果你一直在开发机器学习算法用于处理连续数据 —— 例如语言处理中的文本，语音信号，或视频 —— 你可能听说过或使用过Transformer，你可能知道这和是推特中认为的不同于一个东西。 图1，打破僵局，摘自Chris Manning教授的推特 最近，谷歌推出了Reformer架构，Transformer模型旨在有效地处理处理很长的时间序列的数据(例如，在语言处理多达100万个单词)。Reformer的执行只需要更少的内存消耗，并且即使在单个GPU上运行也可以获得非常好的性能。论文 Reformer: The efficient Transformer 将在ICLR 2020上发表(并在评审中获得了近乎完美的分数)。Reformer模型有望通过超越语言应用(如音乐、语音、图像和视频生成)对该领域产生重大影响。 在这篇文章中,我们将努力深入Reformer模型并试着去理解一些可视化方面的指南。准备好了吗？ 为什么是Transformer? 在NLP类的任务中，如机器翻译、文本生成、问答，可以被形式化为sequence-to-sequence的学习问题。长短期记忆

作者｜陈萍 来源｜机器之心 可能大家心里都有一种错误认知，做自然语言处理任务的模型不能够用来进行计算机视觉任务。其实不然，现阶段已出现好多研究，它们通过算法的改进，将在 NLP 领域表现良好的模型，如 Transformer、GPT 等进行改进并应用于视觉任务，不仅实现了模型跨界，而且取得了不错的性能。 模型跨界效果如何呢？ 人工智能的快速发展已经淋漓尽致地体现在我们的日常生活中，从人脸识别、语音识别到机器翻译等等，无不展示着 AI 带来的便利。已经落地的产品层出不穷，其后的算法模型你又了解多少呢？有些模型不仅在自己的领域表现出色，更能跨界出圈。 近几年，NLP 领域的算法势如破竹，不断取得新突破，CV 领域同样不断取得创新。新工具、新算法、新算力等不断迭代更新，在各自领域大放异彩。 如果说将 NLP 领域的模型应用到 CV 领域，或反之，那效果该如何呢？模型跨界是否可行？ 答案是肯定的。下面我们来盘点一下模型的跨界、破界表现如何？本文介绍的内容包括： 《End-to-End Object Detection with Transformers》：Facebook 将 Transformer 应用于目标检测任务； 《Generative Pretraining from Pixels》：OpenAI 用 GPT-2 做图像分类的尝试； 《LAMBDANETWORKS:

金磊 贾浩楠 发自 凹非寺 量子位 报道 | 公众号 QbitAI 生成文字的AI和生成图像的AI，竟然是同一个，人工智能要实现通用（AGI）了吗？ 语言模型GPT，现在跨界了。 这一次，它要进军CV领域——以 Image GPT (简称iGPT) 的名义，处理「图像任务」。 那么，这位跨界选手的表现如何呢？ 在主流的数据集上，与当前最高精度方法做PK，竟可以刷新纪录，达到SOTA！ 简直惊掉了路人下巴：这太疯狂了，而我还在研究自然语言生成（它却已经能生成图像了）。 还有网友脑洞大开：GPT的下一步是不是要生成音乐了？ 连名字都想好了——GPT-Music。 莫非，这是要通用人工智能 (AGI) 的节奏，琴棋书画样样精通？ 从语言GPT，到图像GPT 像BERT、GPT-2这样的语言模型，在NLP任务上的成就不用多说，对一维序列的处理能力比较强悍。 但OpenAI的研究人员发现，将它应用到图像上，也就是在 像素序列 上进行训练，同样也可以得到连贯的完整图像。 举个例子，原始图像是一只小鸡，如下图所示。 当把它的下半部遮挡后作为输入，经过训练之后，生成的图像如下。 可以看到，在生成的一系列图像中，有逼近原始图像的结果。 再来看个猫的例子，原始图像如下。 同样是遮挡一半的图像，生成后得到的图像看起来也是比较完整。 虽然没有生成原始图像中「手」的那部分，但是我们人类看到被遮挡一半的图像

人工智能会怎样影响人类文学创作？人类智慧与机器智慧如何相互激发创作灵感？ 10月27日，由传茂文化和创新工场联手打造的华语科幻AI人机共创写作实验项目《共生纪》启动，人类作家与AI算法将围绕环保、人机关系、性别、文化多样性等主题，协同创作多篇科幻文学故事。 科幻作家陈楸帆现场演示AI写作程序 《共生纪》所使用的AI写作程序源于创新工场 DeeCamp 2020人工智能训练营中的大学生创新项目“AI科幻世界”，团队的大学生来自中科院计算技术研究所、中国科学院大学、华中科技大学、乔治梅森大学等国内外高校，他们自主设计研发了AI写作程序的主要逻辑，开发出了一款有趣的的智能写作工具。 经陈楸帆等科幻作家尝试，“AI科幻世界”已经可以输出语法上非常通顺，同时拥有一定文学表现能力的段落，这种人机共同写作的过程对人类思维有相当的启发意义。 创新工场AI工程院执行院长王咏刚认为，AI算法为我们提供了一面前所未有的，关乎科学逻辑、语言本质、文本规律的镜子。“人机共创这种全新的体验在前沿科技与文艺创作两个维度都具有重要的探索和实验价值。科技思维与文艺思维的碰撞，提供了一种探寻人类智慧与机器智慧之间的边界与交集，展望人类未来各种可能性的前沿视角。” 创新工场AI工程院执行院长王咏刚 据王咏刚介绍，AI人机共创写作实验模型是由创新工场AI工程院的科研团队自主研发的，基于预训练技术的超大规模中文生成模型

最近GPT-3掀起了一波“炒作”浪潮，并在AI文本生成领域内掀起了一波的创新浪潮。 GPT-3的与众不同之处在于它的运行规模和完成一系列令人难以置信的任务，这种不可置信的深度和复杂性使输出也具有复杂性，从而让GPT-3成为一种非常灵活的工具，例如： 基于问题的搜索引擎 与历史人物交谈的聊天机器人 解决语言和语法难题 基于文本描述的代码生成 文本的风格迁移 编写吉他曲谱 设计密室逃生游戏方案 …… GPT-3是如此庞大，以至于所有这些不同功能都可以在其中实现。用户只需要输入正确的提示就可以调教好它。 那么， 如何才能掌握GPT？挑战最前沿的GTP实践应用？ 本号强烈推荐你参加 《文本生成任务——GPT系列模型训练营》 ，前百度算法工程师从理论解读到代码实操，让你轻松掌握文本生成任务。内容不错，推荐给你们。 3天时间，带你挑战最前沿的GTP实践应用 ▼ 仅需 3天 时间，每天 120分钟 左右 课程配备有专职 班主任督促学习、群内互动交流干货分享不断、更有资深助教 为大家在线答疑解惑。深度掌握GPT系列模型，帮助你找到快速入门自然语言处理——文本生成方向！ 限时福利 9月22日 19点前 早鸟价 仅需 49 元 原价399元 按照要求 3天全勤全部返还 = 0元学 扫描下方二维码 报名 每递增200人价格将上涨50元 ????立即扫码加入我们???? 无论你是经验丰富的算法工程师

深度学习模型的训练就像是「黑箱操作」，知道输入是什么、输出是什么，但中间过程就像个黑匣子，这使得研究人员可能花费大量时间找出模型运行不正常的原因。假如有一款可视化的工具，能够帮助研究人员更好地理解模型行为，这应该是件非常棒的事。 近日，Google 研究人员发布了一款语言可解释性工具 (Language Interpretability Tool, LIT)，这是一个开源平台，用于可视化和理解自然语言处理模型。 论文地址：https://arxiv.org/pdf/2008.05122.pdf 项目地址：https://github.com/PAIR-code/lit LIT 重点关注模型行为的核心问题，包括：为什么模型做出这样的预测？什么时候性能不佳？在输入变化可控的情况下会发生什么？LIT 将局部解释、聚合分析和反事实生成集成到一个流线型的、基于浏览器的界面中，以实现快速探索和错误分析。 该研究支持多种自然语言处理任务，包括探索情感分析的反事实、度量共指系统中的性别偏见，以及探索文本生成中的局部行为。 此外 LIT 还支持多种模型，包括分类、seq2seq 和结构化预测模型。并且它具备高度可扩展性，可通过声明式、框架无关的 API 进行扩展。 相关 demo，参见视频： 00:00/00:00倍速 可以针对新颖的工作流程进行重新配置，并且这些组件是独立的，可移植的，且易于实现。

©PaperWeekly 原创 · 作者｜金金 单位｜阿里巴巴研究实习生 研究方向｜推荐系统 论文标题： Leading Conversational Search by Suggesting Useful Questions 论文来源： WWW 2020 论文链接： https://www.microsoft.com/en-us/research/uploads/prod/2020/01/webconf-2020-camera-rosset-et-al.pdf 简介 本文由微软 AI 研究院发表于 WWW 2020，当前对话式搜索引擎主要存在两个挑战：1. 用户仍然习惯使用查询词而并非自然语言进行搜索；2. 搜索引擎的能力需要超出仅解决当前查询的问题。 本文提出了 对话式问题建议（Conversatioal question suggestion） 这一新的方式，帮助用户通过更接近于对话式检索的方式，获得更好的搜索体验。 本文首先提出了更加合理的评价指标 usefulness 替代 relevance，以衡量建议问题的性能；然后提出了基于 BERT 的排序模型和基于 GPT-2 的生成模型，从而针对当前的查询生成问题，这些模型在离线的 usefulness 评价和在线的 A/B test 中相比于原来 Bing 上线的系统都有显著提升。 从相关性到有用性

最近要开始使用Transformer去做一些事情了，特地把与此相关的知识点记录下来，构建相关的、完整的知识结构体系。 以下是要写的文章，文章大部分都发布在公众号【雨石记】上，欢迎关注公众号获取最新文章。 Transformer:Attention集大成者 GPT-1 & 2: 预训练+微调带来的奇迹 Bert: 双向预训练+微调 Bert与模型压缩 Bert与模型蒸馏：PKD和DistillBert ALBert: 轻量级Bert TinyBert: 模型蒸馏的全方位应用 MobileBert: Pixel4上只需40ms 更多待续 Transformer + AutoML: 进化的Transformer Bert变种 Roberta: Bert调优 Electra: 判别还是生成，这是一个选择 Bart: Seq2Seq预训练模型 Transformer优化之自适应宽度注意力 Transformer优化之稀疏注意力 Reformer: 局部敏感哈希和可逆残差带来的高效 Longformer: 局部attentoin和全局attention的混搭 - Linformer: 线性复杂度的Attention XLM: 跨语言的Bert T5 (待续) 更多待续 GPT-3 更多待续 背景 GPT，全称是Generative Pre-training，顾名思义，就是预训练模型。