OpenAI

　　 “如果 AI 在现实场景中不具备自主性，就没有任何价值，也没有任何意义。” 90 后华人学者陈曦（Peter Xi Chen）的观点一针见血、毫不妥协。 　　陈曦是美国加州大学伯克利分校的博士、OpenAI 的前研究科学家，他的另外一个身份 — — AI 机器人公司 Covariant 的联合创始人兼首席执行官 — — 如今让他更加亮眼。“就我个人而言，其实我特别喜欢做两类事情，一类是在科研上实现突破，解决科技难题，另一类就是做有价值的事。” 　　一个多月前，Covariant 刚刚完成了 4,000 万美元的 B 轮融资，正式退出了两年多的 “隐身模式”。 消息一出，2018 年图灵奖得主、“深度学习之父” 杰弗里 · 辛顿（Geoffrey Hinton）随即发推表示十分后悔，甚至感叹 “我应该多投资 100 倍”。 　　 　　（来源：Twitter） 　　对于此般认可，陈曦表示，“辛顿之所以会看好并投资我们，一方面，他认识我们团队中的很多人，认可我们的实力；另一方面，他在一年前就看过并肯定了 Covariant 的技术成果。” 　　 相比于辛顿的认可，更令 Covariant 吸引眼球的是，这家公司背后的投资人阵容堪称豪华。 不仅有感慨 “投少了” 的辛顿，另外一位图灵奖得主、“卷积神经网络之父” 杨立昆（Yann LeCun），华人学者、斯坦福大学教授李飞飞

云栖号资讯：【 点击查看更多行业资讯 】 在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！ 神译局是36氪旗下编译团队，关注科技、商业、职场、生活等领域，重点介绍国外的新技术、新观点、新风向。 编者按：众所周知，人工智能有两大流派。一是符号主义，另一个是联结主义。符号主义擅长逻辑演绎；联结主义擅长归纳总结，典型代表是机器学习。通常来说，演绎推理这种事情不是联结主义的菜。不过最近Facebook的一个AI小组却在这件事情上取得进展：让神经网络用语言翻译的原理去解微积分方程。这算是新突破吗？Stephen Ornes介绍了他们的成果，原文发表在quantamagazine.org上，标题是：Symbolic Mathematics Finally Yields to Neural Networks 划重点 大家把神经网络看作是AI的灵丹妙药，能够解决可以重述为模式识别问题的技术难题 困难的符号数学问题一直是神经网络的弱点 Facebook人工智能研究小组工作的计算机科学家，公开了第一个成功用神经网络解决符号数学问题的方案 他们将数学表达式转换为树状结构，然后训练网络在符号当中找到有关解的线索 这种方法可以充当数学家的助手，通过识别已知猜想中的模式为一个之前存在的问题提供帮助 更加令人兴奋的是，这种神经网络有可能帮助揭开神经网络本身黑匣子的秘密 通过将符号数学转换为树状结构

　　机器之心报道 　　 编辑：张倩、蛋酱 　　 看了用强化学习训练的马里奥，我才知道原来这个游戏的后几关长这样。 　　 　　《超级马里奥兄弟》是任天堂公司开发并于 1985 年出品的著名横版过关游戏，最早在红白机上推出，有多款后续作品，迄今多个版本总销量已突破 5 亿套。 　　这款游戏承载了一代人的回忆，你还记不记得你玩到过第几关？ 　　其实，除了我们这些玩家之外，强化学习研究者也对这款游戏情有独钟。 　　最近，有人用 PPO 强化学习算法训练了一个超级马里奥智能体，已经打通了 29 关（总共 32 关），相关代码也已开源。 　　 　　 　　PPO 算法的全称是 Proximal Policy Optimization（近端策略优化），是 OpenAI 在 2017 年发布的一种强化学习算法。该算法的实现和调参十分简单，在强化学习中的表现优于当时所有顶尖算法的水平，因此被 OpenAI 作为强化学习研究中的首选算法。 　　使用 PPO 训练的 OpenAI Five 是第一款在电竞游戏中击败人类世界冠军的 AI。2018 年 8 月，OpenAI Five 与 Ti8Dota2 世界冠军 OG 战队展开了一场巅峰对决，最终 OpenAI Five 以 2:0 的比分轻松战胜世界冠军 OG。 　　此前，作者曾经使用 A3C 算法训练过用于通关超级马里奥兄弟的智能体

　　机器之心报道 　　 参与：张倩、Racoon X、Jamin 　　 　　 你有没有想过，有一天，码农是不需要写代码的。你只需要提供函数签名和注释，代码就能自己在屏幕上打出来。「搬砖码农可以都辞退了，留下项目经理提需求即可，大雾！」 　　 　　上面这段 demo 是不是看着很爽？这就是 OpenAI CEO Sam Altman 刚刚介绍的最新研究成果——根据函数签名和注释，利用语言模型自动生成 Python 代码。这个语言模型用到了和 OpenAI 的 GPT 模型相同的无监督技术。 　　为了让模型学会「写代码」，研究人员在微软的超级计算机上，借助数千个开源 GitHub 库里的代码对该模型进行了微调。 　　先来看一下生成效果。 　　研究人员首先展示了一个较为简单、使用 Python 编写回文检测的例子。回文指的是「正读反读都能读通的句子」，例如：「anna」、「level」等。下面是使用该模型自动生成的代码： 　　 　　可以看到，在你输入了函数签名和注释之后，模型正确地生成了回文检测的代码。当然，对于回文检测，我们也可以用如下更「秀」的递归方法来实现： 　　 　　看到这里，也许大家并没有对该模型的效果感到很惊艳，毕竟像回文检测这类基础任务的代码网上一抓一大把，模型大可以直接从训练集中复制过来即可。 　　先别着急，咱们继续往下看。 　　接下来

英伟达称稍后会放出一个使用 AI 模型 GameGAN 复刻的《吃豆人》游戏，以致敬诞生40周年的街机版《吃豆人》。 根据英伟达发布的研究报告，GameGAN 目标是用神经网络取代游戏引擎。 它不同于以往用 AI 做游戏的例子。之前的谷歌 DeepMind 和 Open AI 还是在现有游戏框架中，被用来“玩游戏”，相当于是智能生成一个游戏对手。比如 OpenAI 被用来在 Dota2 5v5中对战人类，OpenAI 2018年通过学习人类演示，在蒙特祖玛的复仇游戏中刷出了74500分的高分。 GameGAN 则被用来“创作”游戏，是对现有游戏代码的取代。它在训练过程中摄入大量游戏剧本和键盘动作，通过观察场景和玩家的操作动作，预测下一帧游戏画面，而不访问底层游戏逻辑或引擎。 “当玩家按下左键的时候，这个 AI 会猜测画面的变化，并且生成一个“看起来是角色在往左走”的图像。 中间发生的事情，全部都在 AI 的黑盒中。 没人知道 AI 是怎么理解玩家操作的，得到的只有最终的输出结果。” 除了生成下一帧游戏画面，GameGAN 还学习环境的内在动力学，“我们有兴趣训练一个游戏模拟器，它可以模拟环境的确定性和随机性”。 GameGAN包括动力引擎；记忆模块；渲染引擎；对抗性损失、循环损失训练和培训计划。 首先GameGAN要学习环境会如何跟随用户操作变化而改变，这涉及一些基本的规则

晓查 发自 凹非寺 量子位 报道 | 公众号 QbitAI 2020年注定是不平凡的一年。除了新冠疫情之外，今年还可能是“天网元年”。 因为在这一年诞生了“比特币之后人类最重大发明”、显卡毁灭者——史上最全能的AI模型。 现在你只要对它发号施令： 请帮助设计一个和XX网站一样的网页来介绍我的产品。 输入完仅仅几秒，它立刻就能输出一个美观的网页设计。 遥想6月初，这个模型刚刚发布时，外界认为它“不过就是炫富而已”，和前代相比没有太大的技术更新。 然而，内测试用后，风评立马180度大转弯，体验过的程序员们纷纷表示：“真香”。 事实证明，“微软的钞票+英伟达的核弹”的确是可以为所欲为的。 是的，这就是OpenAI的GPT-3，原来只能用来生成文字，一周之内被脑洞大开的程序员们开发出了30多种功能：数据库工程师、会计、运维、智能客服……俨然一副取代人类的架势。 现在，它已经成为一名“真·全栈工程师”。 全能选手GPT-3 在后端，AI模型GPT-3成功“套娃”，能自己编写AI模型。只要给GPT-3提出具体的需求： 构建一个图像分类模型，把图片分成5类，训练数据集共有2.5万张图片，输入图片尺寸为500×500。 很快GPT-3就输出了模型的完整代码： GPT-3甚至连代码的注释都写好了，生怕你看不懂。 作为一个会写AI模型的AI，懂一点数据库总是 必 不可少的，SQL语言自然不在话下。

作者：熊唯，黄飞 ，腾讯 PCG/QQ研发中心/CV应用研究组 AI 如果真的可以写代码了，程序员将何去何从？近几年，NLP 领域的生成式任务有明显的提升，那通过 AI 我们可以让代码自动完成后续补全吗？本文主要介绍了如何使用 GPT2 框架实现代码自动补全的功能。 如果 AI 真的可以自己写代码了，程序员将何去何从？ 我去年做过一个代码补全的小功能，打包为 androidStudio 插件，使用效果如下： 代码补全模型预测出的结果有时的确会惊吓到我，这也能学到~? 那如果给它见识了全世界的优秀代码，再给足够量级参数和优秀的模型框架，真的可以实现需求作为输入，直接输出代码吗? "我的需求讲完了，你的代码呢?" 希望可以看到这一天。 代码补齐功能有其他优秀插件也已实现，比如 tabnine，Kite 和国产的 aixcoder。本文主要介绍下代码补全功能需要实现的整套流程。主要包括数据，算法和工程。 数据 众所周知，算法工程师大部分时间都在处理数据。 深度学习是使用大数据训练模型的一个过程，数据是很重要的一个模块。人是会累的，休息不好还导致记忆不好。AI 是你给多少数据它就能存储接收多少数据，学不到信息那是人的错，给的数据不好或者算法设计不好。所以我们先尽可能多的准备好训练数据。 1、数据采集 本文的目的是代码补全，训练数据就是代码段。考虑到每种语言风格和语法都不一致

本文转自开源中国 这几天轰动硅谷的 GPT-3 是什么来头？ 相信不太了解 AI 的朋友这几天也或多或少看到了一些关于 GPT-3 的重磅消息，甚至有媒体称其为 “继比特币之后又一个轰动全球的现象级新技术”。 请注意，现在站在你面前的是：互联网原子弹，人工智能界的卡丽熙，算力吞噬者，黄仁勋的新 KPI ，下岗工人制造机，幼年期的天网 —— 最先进的 AI 语言模型 GPT-3。 1750 亿参数组成的训练模型 言归正传，OpenAI 的研究人员在上个月发表了一篇论文，描述了 GPT-3 的开发，正式发布了这个由 1750 亿个参数组成的 AI 语言模型。 在 NLP 领域中，通常采用 ELMo 算法的思想，即通过在大量的语料上预训练语言模型，然后再将预训练好的模型迁移到具体的下游NLP任务，从而提高模型的能力。GPT 模型是 OpenAI 在 2018 年提出的一种新的 ELMo 算法模型，该模型在预训练模型的基础上，只需要做一些微调即可直接迁移到各种 NLP 任务中，因此具有很强的业务迁移能力。 GPT 模型主要包含两个阶段。第一个阶段，先利用大量未标注的语料预训练一个语言模型，接着，在第二个阶段对预训练好的语言模型进行微改，将其迁移到各种有监督的 NLP 任务，并对参数进行 fine-tuning。 简而言之，在算法固定的情况下，预训练模型使用的训练材料越多

　　 　　 大数据文摘出品 　　 作者：牛婉杨、笪洁琼 　　两周前，OpenAI又放了个大招：GPT3突然放出，其参数量达到1750亿，相当于1600个GPT1的大小，光把它用fp16半精度载入内存都得300GB，这还不包括实际训练中需要存储地梯度等中间变量。因此这也导致它训练起来非常昂贵，大概要花1200万美金，按现在汇率折合成人民币相当于8500多万元！！！ 　　今天还有博客称， GPT-3可以看作是研究神经网络缩放律的一次尝试 。就是说，从一个好的神经网络开始，把它增大十倍，它能变更聪明吗？聪明多少？会聪明十倍吗？能一直这样做下去，直到它变得无限智慧、或是把所有电脑都用上？” 　　博客链接 　　https://slatestarcodex.com/2020/06/10/the-obligatory-gpt-3-post/ 　　这么好的东西当然是大家一起用才好。Open AI 官方刚刚宣布，发布针对GPT-3的API接口， 让开发人员可以在日常英文工作中直接调用GPT-3，上手友好度+1。 　　 　　官网指路： 　　https://openai.com/blog/openai-api/ 　　基本上，该项工作是建立在理解英语单词的基础上。OpenAI希望能帮助用户实现自动化。GPT-3系列自然语言理解模型的各种功能可供开发人员使用。 　　内测链接： 　　https://forms

　　机器之心报道 　　 编辑：陈萍、杜伟 　　 训练游戏 AI 往往需要耗费巨量的计算，并且依赖配备数百个 CPU 和 GPU 的服务器。大的科技公司有能力和资金支撑，但学术实验室却「心有余而钱不足」。在本文中，南加州大学和英特尔实验室的研究者展示了在第一人称射击游戏《毁灭战士》中，使用单个高端工作站训练具备 SOTA 性能的游戏 AI，最多时用到了 36 核 CPU 和单个 RTX 2080 Ti GPU 的系统。 　　 　　我们都清楚，训练 SOTA 人工智能系统往往需要耗费大量的计算资源，这意味着资金雄厚的科技公司的发展进程会远远超过学术团队。但最近的一项研究提出了一种新方法，该方法有助于缩小这种差距，使得科学家可以在单个计算机上解决前沿的 AI 问题。 　　OpenAI 2018 年的一份报告显示，用于训练游戏 AI 的处理能力正在快速地提升，每 3.4 个月翻一番。其中对数据需求量最大的一种方法是深度强化学习，通过在数百万个模拟中迭代，AI 在反复试错中进行学习。《星际争霸》和《Dota2》等电子游戏领域取得了令人瞩目的新进展，但都依赖封装了数百个 CPU 和 GPU 的服务器。 　　针对这种情况，Cerebras System 开发的 Wafer Scale 引擎能够使用单个大芯片来替换这些处理器，这个芯片为训练 AI 进行了完美的优化。但是由于价格高达数百万