gpt-2

　　机器之心报道 　　 编辑：魔王、杜伟、小舟 　　 第 43 届国际计算机协会信息检索大会（ACM SIGIR）于本月 25 日举行。昨日，大会公布了最佳论文等奖项。来自清华大学的研究人员获得最佳论文荣誉提名奖、最佳短论文奖奖项。 　　ACM SIGIR 是信息检索领域的顶级学术会议，今年是第 43 届。据统计，SIGIR 2020 会议共收到投稿 1180 篇，接收 340 篇，接收率为 28.8%。其中长论文投稿 555 篇，接收 147 篇，接收率约为 26%；短文投稿 507 篇，接收 152 篇，接收率约为 30%。 　　 　　SIGIR 2020 论文词云统计。 　　昨日，大会公布了最佳论文奖、最佳短论文奖、时间检验奖等奖项。 　　其中，来自柏林工业大学和康奈尔大学的研究者获得最佳论文奖，来自清华大学的研究者获得最佳论文提名奖。此外，最佳短论文奖和最佳短论文荣誉提名奖也分别出自清华团队。 　　接下来，我们来看获奖论文的具体内容。 　　 最佳论文奖 　　SIGIR 2020 最佳论文奖由来自柏林工业大学和康奈尔大学的研究者摘得。 　　 　　论文作者：Marco Morik（柏林工业大学）、Ashudeep Singh（康奈尔大学）、Jessica Hong（康奈尔大学）、Thorsten Joachims（康奈尔大学） 　　论文链接：https://dl.acm.org

本文转自开源中国 这几天轰动硅谷的 GPT-3 是什么来头？ 相信不太了解 AI 的朋友这几天也或多或少看到了一些关于 GPT-3 的重磅消息，甚至有媒体称其为 “继比特币之后又一个轰动全球的现象级新技术”。 请注意，现在站在你面前的是：互联网原子弹，人工智能界的卡丽熙，算力吞噬者，黄仁勋的新 KPI ，下岗工人制造机，幼年期的天网 —— 最先进的 AI 语言模型 GPT-3。 1750 亿参数组成的训练模型 言归正传，OpenAI 的研究人员在上个月发表了一篇论文，描述了 GPT-3 的开发，正式发布了这个由 1750 亿个参数组成的 AI 语言模型。 在 NLP 领域中，通常采用 ELMo 算法的思想，即通过在大量的语料上预训练语言模型，然后再将预训练好的模型迁移到具体的下游NLP任务，从而提高模型的能力。GPT 模型是 OpenAI 在 2018 年提出的一种新的 ELMo 算法模型，该模型在预训练模型的基础上，只需要做一些微调即可直接迁移到各种 NLP 任务中，因此具有很强的业务迁移能力。 GPT 模型主要包含两个阶段。第一个阶段，先利用大量未标注的语料预训练一个语言模型，接着，在第二个阶段对预训练好的语言模型进行微改，将其迁移到各种有监督的 NLP 任务，并对参数进行 fine-tuning。 简而言之，在算法固定的情况下，预训练模型使用的训练材料越多

　　如今，我们对虚拟语音助手已经十分熟悉。无论是苹果 Siri、亚马逊 Alexa，还是百度小度，阿里巴巴天猫精灵，在提供帮助之余，还经常扮演着被无聊人类调戏的对象。 　　就在你来我往的博弈之间，语音助手们练就了一身反调戏的本领，甚至还会出其不意，给你惊喜。 　　但如果把苹果推出 Siri 视为消费级虚拟语音助手诞生元年，算下来迄今已经过了近九年，要说它们没什么长进，恐怕是冤枉了。只不过，跟它们对话似乎总是差点意思。 　　当然，如果只是指示语音助手设置闹钟，查询天气，它们在绝大多数情况下都能完美实现。然而一旦脱离具体任务，以聊天或咨询为主要目的，因为涉及到对话和交互能力，它们的表现就会一落千丈，经常会出现前言不搭后语的情况，令人沮丧。 　　 为了改善这一问题，Facebook AI 近日就公布了一项最新研究成果：拥有 94 亿参数的开源 AI 聊天机器人 Blender。 　　 Facebook 研究人员声称，Blender 是迄今为止“最先进的”聊天机器人，可以以有趣和连续互动的方式讨论几乎所有内容。 在人-人和 Blender-人的对话比较测试中，有 49% 的测试者把 Blender 的对话记录误认为是人和人的对话，67% 的测试者认为 Blender 和人的对话更像是人和人的对话。 　　 　　视频｜Blender 对话演示（来源：Facebook） 　　“对话有点像 AI

　　如今，我们对虚拟语音助手已经十分熟悉。无论是苹果 Siri、亚马逊 Alexa，还是百度小度，阿里巴巴天猫精灵，在提供帮助之余，还经常扮演着被无聊人类调戏的对象。 　　就在你来我往的博弈之间，语音助手们练就了一身反调戏的本领，甚至还会出其不意，给你惊喜。 　　但如果把苹果推出 Siri 视为消费级虚拟语音助手诞生元年，算下来迄今已经过了近九年，要说它们没什么长进，恐怕是冤枉了。只不过，跟它们对话似乎总是差点意思。 　　当然，如果只是指示语音助手设置闹钟，查询天气，它们在绝大多数情况下都能完美实现。然而一旦脱离具体任务，以聊天或咨询为主要目的，因为涉及到对话和交互能力，它们的表现就会一落千丈，经常会出现前言不搭后语的情况，令人沮丧。 　　 为了改善这一问题，Facebook AI 近日就公布了一项最新研究成果：拥有 94 亿参数的开源 AI 聊天机器人 Blender。 　　 Facebook 研究人员声称，Blender 是迄今为止“最先进的”聊天机器人，可以以有趣和连续互动的方式讨论几乎所有内容。 在人-人和 Blender-人的对话比较测试中，有 49% 的测试者把 Blender 的对话记录误认为是人和人的对话，67% 的测试者认为 Blender 和人的对话更像是人和人的对话。 　　 　　视频｜Blender 对话演示（来源：Facebook） 　　“对话有点像 AI

【推荐阅读】微服务还能火多久？>>> 　　 作者 |Chunyuan 　　 编辑 | 丛末 　　人工智能的核心愿望之一是开发算法和技术，使计算机具有合成我们世界上观察到的数据的能力, 比如自然语言，图片等等。 　　每当我们建立一个模型来模仿这种能力时，该模型就称为生成模型 (Generative Models)。 　　如果该模型涉及深度神经网络，则该模型是深度生成模型（Deep Generative Models, 简称 DGMs）。 　　作为深度学习中自我监督学习 (self-supervised learning)技术的一个分支，DGM特别专注于刻画数据的生成过程。这篇文章回顾了DGM的历史，定义和现状，并分享最新的一些研究结果。最终希望启发大家去思考一个共同的主题：如何在大规模预训练时代推进或应用深度生成模型。 　　 1 　　历史回顾和基础知识： 　　三种类型的深度生成模型和一个通用技巧 　　生成模型（Generatitve Models）在传统机器学习中具有悠久的历史，它经常与另外一个主要方法（判别模型，Discriminative Models）区分开。我们可以通过一个故事学到它们有何不同：有两兄弟，他们具有不同的特殊能力，一个具有深入洞察事物内在的能力，而另一个善于学习所见事物之间的差异。在故事里，前者代表生成模型，而后者代表区分模型，他们的特点总结为： 　　生成模型

©PaperWeekly 原创 · 作者｜Chunyuan Li 单位｜Microsoft Research Researcher 研究方向｜深度生成模型 人工智能的核心愿望之一是开发算法和技术，使计算机具有合成我们世界上观察到的数据的能力, 比如自然语言，图片等等。 每当我们建立一个模型来模仿这种能力时，该模型就称为 生成模型 （Generative Models）。 如果该模型涉及深度神经网络，则该模型是 深度生成模型 （Deep Generative Models, 简称 DGMs）。 作为深度学习中自我监督学习 （self-supervised learning）技术的一个分支，DGM 特别专注于 刻画数据的生成过程 。这篇文章回顾了 DGM 的历史，定义和现状，并分享最新的一些研究结果。最终希望启发大家去思考一个共同的主题： 如何在大规模预训练时代推进或应用深度生成模型。 历史回顾和基础知识：三种类型的深度生成模型和一个通用技巧 生成模型（Generatitve Models）在传统机器学习中具有悠久的历史，它经常与另外一个主要方法（判别模型，Discriminative Models）区分开。我们可以通过一个故事 [1] 学到它们有何不同：有两兄弟，他们具有不同的特殊能力，一个具有深入洞察事物内在的能力，而另一个善于学习所见事物之间的差异。在故事里，前者代表生成模型