OpenAI

　　机器之心报道 　　 编辑：魔王、张倩 　　 如果说 GPT 模型是所向披靡的战舰，那么 minGPT 大概算是个头虽小但仍能乘风破浪的游艇了吧。 　　最近，「史上最大 AI 模型」GPT-3 风靡全球。 　　GPT 系列可以说是人工智能领域「暴力美学」的代表作了。2018 诞生的 GPT，1.17 亿参数；2019 年 GPT-2，15 亿参数；2020 年 GPT-3，1750 亿参数。短短一年时间，GPT 模型的参数量就呈指数级增长。 　　GPT-3 发布后不久，OpenAI 即向社区开放了商业 API，鼓励大家使用 GPT-3 尝试更多的实验。然而，API 的使用需要申请，而且你的申请很有可能石沉大海。那么，除了使用官方 API 以外，我们还有没有其他方法能上手把玩一下这个「最大模型」呢？ 　　近日，特斯拉人工智能研究负责人、前 OpenAI 研究科学家 Andrej Karpathy 进行了尝试。 　　他基于 PyTorch，仅用 300 行左右的代码就写出了一个小型 GPT 训练库，并将其命名为 minGPT。 　　 　　Karpathy 表示，这个 minGPT 能够进行加法运算和字符级的语言建模，而且准确率还不错。不过，在运行 demo 后，Andrej Karpathy 发现了一个有趣的现象：2 层 4 注意力头 128 层的 GPT 在两位数加法运算中，将

　　机器之心报道 　　 参与：蛋酱、张倩 　　 人生没有固定的答案，但Chris Olah的道路，不一定适合所有人。 　　 　　假如你年纪轻轻，就有机会进入顶尖的 AI 公司，时常和业内大佬「谈笑风生」，你还会回到大学，努力通过所有考试，去获得一张本科文凭吗？ 　　人们都听说过很多辍学创业、一战成名的传奇故事，比尔盖茨、乔布斯、扎克伯格…… 一些没有完成大学学业的年轻人，最终在商业上都取得了巨大成功，这也曾让「大学无用论」等观点甚嚣尘上。 　　上大学还是不上大学，怎么选？ 　　18 岁辍学、22 岁进谷歌，有着类似经历的「神童」Chris Olah 在一篇博客里，写出了自己的心声。他认为，与其去问「上大学好不好」，还不如问自己：「是否有更具吸引力的事情等着我去做？」 　　Chris Olah 的生活经历和常人不同，在刚刚开始进行深度学习研究的时候，他就得到了知名学者、量子物理学家 Michael Nielsen 的指导。2013 年，图灵奖得主 Yoshua Bengio 曾邀请他去 MILA，并设法让他在没有本科学位的情况下直接作为研究生完成学业，但最终 Chris Olah 拒绝了。在谷歌的时候，他是 Jeff Dean 的实习生。后来在 Greg Corrado 的帮助下，他转为了谷歌的正式员工。目前，他正担任 OpenAI 的研究科学家，也不过才 28 岁而已。 　　当然

近日 OpenAI 发布其最新的NLP模型-GPT-3（论文地址： https://arxiv.org/abs/2005.14165 ），并成功登顶了Github的趋势榜（ https://github.com/openai/gpt-3 ） ，这个模型的出现再次证明了，在AI领域大力就是能够出奇迹，GPT3 使用的数据集容量达到了45TB， 参数个数 1750亿，一个 训练好的 模型 就 要 700G的硬盘空间来存储。 而且近日GPT-3模型再度爆红Github，主要还是有网友根据GPT-3模型，上线了一个能够自动生成代码的网站debuid( https://debuild.co/ ) 只要在这个网站注册以后，用户只要用英语描述你的需求，相关前端的代码就会被自动生成出来了，笔者这种在IT界摸爬滚打十几年的老程序，在试用了debuild网站之后，也惊得说不出话来。 初识Open AI 说起Open AI这个公司，在业界抱得大名，首先是因为其在去年DOTA2的顶级赛事T I8 之后，与 世界冠军OG战队 举行了一场表演赛 ， 当时Open AI的强化学习模型， 在英雄阵容限定17个，部分道具和功能禁用 的条件下， 以2：0完胜了人类冠军 ， 尤其是在第二场比赛中 AI 在 15分钟就解决 了 战斗，展现的强大实力比较令人信服。 这也使人类在对战游戏中的最后一道防线

更新时间: 2020-07-20 23:00 Show HN: 3D Book Image CSS Generator - (3d-book-css.netlify.app) 展示HN: 3D图书图像CSS生成器 得分:230 | 评论:42 Any claim without a URI should be treated as suspicious - (shkspr.mobi) 任何没有URI的索赔都应该被视为可疑 得分:185 | 评论:101 Mars in 4K [video] - (youtube.com) 4K的火星[视频] 得分:21 | 评论:7 Launch HN: Reflect (YC S20) – No-code test automation for web apps - (reflect.run) HN发布会:反思(YC S20)——网络应用的无代码测试自动化 得分:51 | 评论:16 Oxford coronavirus vaccine can train immune system - (bbc.co.uk) 牛津冠状病毒疫苗可以训练免疫系统 得分:102 | 评论:30 The German Problem with Tor - (worldofmatthew.com) 托尔的德国问题 得分:51 | 评论:22 Z80 Explorer –

　　 大数据文摘出品 　　 　　 作者：刘俊寰、牛婉杨 　　昨天，一个“修复老北京街道”的视频刷屏全网。一段由加拿大摄影师在 100年前的北京 被AI修复后，活灵活现地展现在人们面前，一百年前人们打招呼的方式、使用的乐器、交通工具，在这段视频中，都清晰可见。配上颇合时宜的音乐， 24小时内，已经有了将近50万的点赞量，10万多次的转发，接近3万的留言 ，看来周六大家也有在好好工作啊。 　　 　　这个视频来自一位名叫“大谷Spitzer”的博主，据他所说， 接触老片修复是一个偶然，整个项目也只花了7天时间就顺利完成了 。 　　先来一起看看这惊人的修复效果。 　　老视频 　　 　　修复后效果 　　 　　修复后的视频把当时的北京城演绎的活灵活现，下边的片段中，左下角小哥呆呆的看着镜头，连细微的表情都清晰可见，青涩中带有一点可爱，想象一下这位憨厚的小哥来自一百年前，还是让文摘菌感慨万千。 　　 　　怪不得网友们纷纷赞叹。有网友表示，不仅 整体氛围没话说 ，连 细节部分也分毫毕显 ，“每个人脸上都是新奇又不敢接近的表情”。 　　甚至有网友留言表示， “博物馆应该收藏你的作品” ！ 　　 　　链接指路： 　　https://weibo.com/tv/v/J0ZsQnP6a?fid=1034:4502352820895785 　　博主在视频最开始就说道，想用技术为社会做一些有意义的事情

　　随着学会的队伍不断发展壮大，分支机构的发展愈发完善，丰富多彩的分支活动与学术分享也频频呈现。疫情期间，CAAI认知系统与信息处理专委会积极倡导学会“疫情防控不放松，学习充电不间断”的理念，与大家分享ICRA2020论文《一种基于层次强化学习的机械手鲁棒操作》。 　　 1. 研究背景 　　机械手内操作（in-hand manipulation）是指使用单只机械手，通过移动手指、手掌等部位来改变物体在手中的相对位置和姿态。这种能力对于机器人实现人类水平的灵巧操作极为重要，因为在日常生活中有很多类似的任务，例如抓取一件工具并调整它在手中的位置和旋转角度。我们注意到，在实现复杂的操作目标时，人在操作物体时常常改变抓取物体的手指接触点位置，从而极大的提高物体在手中的位姿范围。 　　 　　传统上，手内操作有两类解决方案，一类是基于模型的方法（model-based method），通过对抓取的动力学建模，来控制手指移动带动物体姿态。这种办法好处在于稳定性强，模型简单，但问题在于难以实现较长和复杂的手内操作流程，特别是目标位姿和起始位姿相距很远的情况，因为它们很难规划手指接触点的移动；另一类方法是无模型方法（model-free method），通常使用深度强化学习的方法。这类方法优点在于不需要系统模型，但缺点在于稳定性差，并且需要大量数据进行训练。而我们的方法结合了这两种方法

一只小狐狸带你解锁 炼丹术& NLP 秘籍 2018年10月推出的BERT一直有着划NLP时代的意义，然而还有一个让人不能忽略的全程陪跑模型——OpenAI GPT（Generative Pre-Training）在以它的方式坚持着，向更通用的终极目标进发。 最初的GPT只是一个12层单向的Transformer，通过预训练+精调的方式进行训练，BERT一出来就被比下去了。之后2019年初的GPT-2提出了meta-learning，把所有NLP任务的输入输出进行了整合，全部用文字来表示，比如对于翻译任务的输入是“英翻法：This is life”，输出是“C'est la vie”。直接把任务要做什么以自然语言的形式放到了输入中。通过这种方式进行了大规模的训练，并用了15亿参数的大模型，一举成为当时最强的生成模型。 遗憾的是，GPT-2在NLU领域仍并不如BERT，且随着19年其他大模型的推出占据了下风，年初微软推出的Turing-NLG已经到达了170亿参数，而GPT-2只有15亿。这些模型的尺寸已经远远超出了大部分公司的预算和调参侠们的想象。。。已经到极限了吗？ 不，“极限挑战”才刚刚开始，OpenAI在十几个小时前悄然放出了GPT第三季——《 Language Models are Few-Shot Learners 》。 paper链接：https://arxiv.org

人生没有固定的答案，但Chris Olah的道路，不一定适合所有人。 机器之心报道，参与：蛋酱、张倩。 假如你年纪轻轻，就有机会进入顶尖的 AI 公司，时常和业内大佬「谈笑风生」，你还会回到大学，努力通过所有考试，去获得一张本科文凭吗？ 人们都听说过很多辍学创业、一战成名的传奇故事，比尔盖茨、乔布斯、扎克伯格…… 一些没有完成大学学业的年轻人，最终在商业上都取得了巨大成功，这也曾让「大学无用论」等观点甚嚣尘上。 上大学还是不上大学，怎么选？ 18 岁辍学、22 岁进谷歌，有着类似经历的「神童」Chris Olah 在一篇博客里，写出了自己的心声。他认为，与其去问「上大学好不好」，还不如问自己：「是否有更具吸引力的事情等着我去做？」 Chris Olah 的生活经历和常人不同，在刚刚开始进行深度学习研究的时候，他就得到了知名学者、量子物理学家 Michael Nielsen 的指导。2013 年，图灵奖得主 Yoshua Bengio 曾邀请他去 MILA，并设法让他在没有本科学位的情况下直接作为研究生完成学业，但最终 Chris Olah 拒绝了。在谷歌的时候，他是 Jeff Dean 的实习生。后来在 Greg Corrado 的帮助下，他转为了谷歌的正式员工。目前，他正担任 OpenAI 的研究科学家，也不过才 28 岁而已。 当然，这一切的发生有个前提：他获得了泰尔奖学金

　　 刚刚，ICML 2020 公布了本届杰出论文奖和杰出论文荣誉提名奖（各两篇），其中北理工研二学生魏恺轩为一作的论文获得了杰出论文奖，主题为开发用于自动搜索参数的策略网络。另外，来自英伟达、斯坦福等机构的研究者也摘得杰出论文奖。 　　 　　机器学习顶级会议 ICML 2020 于本月 13 日至 18 日以线上形式举行。此次会议共收到 4990 篇论文，接收论文 1088 篇，接收率达 21.8%。与往年相比，接收率逐年走低。 　　刚刚，ICML 2020 大会放出了杰出论文奖和杰出论文荣誉提名奖，一篇发表于 2009 年的论文获得此次大会的时间检验奖。 　　其中，北京理工大学和剑桥大学合作的论文《Tuning-free Plug-and-Play Proximal Algorithm for Inverse Imaging Problems》获得了此次会议的杰出论文奖。我们之前报道过的 OpenAI 新研究《Generative Pretraining From Pixels》获得了杰出论文荣誉提名奖。 　　 杰出论文奖 　　 论文1：On Learning Sets of Symmetric Elements 　　 　　论文地址：https://arxiv.org/pdf/2002.08599.pdf 　　论文作者：Haggai Maron（英伟达研究院）、Or

　　 　　 大数据文摘出品 　　 作者：牛婉杨 　　马里奥的系列游戏自打诞生以来就风靡全球，同时也陪伴了无数人的童年。 　　人工智能出现后，不少技术咖都开始尝试，能不能利用AI完成马里奥的一次通关梦？ 　　比如，这里有一位马里奥游戏疯狂爱好者uvipen就在GitHub上贡献了两种不同的方法，都能让马里奥轻松游走在障碍之间！去年6月，uvipen从2016年的论文《Asynchronous Methods for Deep Reinforcement Learning》中得到了启发，用异步优势Actor-Critic算法(A3C)让马里奥顺利通过了32关中的9关。 　　显然，他对之前的方法不够满意，于是经过一年多的钻研，他带着新方法来了！这次，他用 OpenAI 公布的近端策略优化 (Proximal Policy Optimization，简称PPO) 算法， 成功助力马里奥通过32关中的29关 ，近乎通关！ 　　效果大概是这样 　　 　　强迫症表示这也太舒适了吧，快来和文摘菌一起看看uvipen是如何做到的吧~ 　　用PPO算法顺利通过29关！如果不行，那就换一个学习率 　　这个PPO是何来头？文摘菌也去了解了一下。 　　PPO全称是近端策略优化，听这个名字你可能觉得陌生，但是在人工智能圈，这个算法可是早就用于各种游戏对抗中了。 　　早在2017年，OpenAI