OpenAI

近期流行的生成模型 本次介绍近期大火的三大类生成模型，这三大类模型从三个不同角度切入，居然都能有惊人的效果。而且深入挖掘发现它们有很多相似的地方。 1. Generative Adversarial Nets 生成对抗网络(GANs)是当今最火的生成模型，从2014年 Goodfellow 论文发表开始，其引用量已是4000+了。而且GANs家族人丁兴旺，从最原始的GANs开始，家族明星是一个接一个，如cGAN, DCGAN, WGAN,WGAN-GP,LSGAN,BEGAN,infoGAN,seqGAN,cycle-GAN,star-GAN等等，每一个出来都是一个新闻。 GANs的火热最直接的原因，其原理直观，可解释。生成模型的目的常常是为得到数据X的分布p(X)。而常常我们对数据的分布一无所知，甚至很多数据分布是没有解析式的。GANs来求解p(X)时，走了一条不同寻常的路。GANs采用对抗的方式来学习，或者说是模仿(mimic)的方式来学习。GANs有个生成器(G)，它的目的是生成可以以假乱真的数据，为了更好的训练G，GANs引入一个判别器(D)，它的工作是当一个样本经过它之后，它能判别出样本是真实的数据样本还是生成器生成的样本，即它输入一个值来代表样本为真的程度。正如原文的例子一样，G相当于一个假币制造者，而D 是警察。就在这个互相对抗中，G生成的样本越来越像直实数据

大约一个月前，谷歌公开了用于Big Transfer（BiT）的预训练模型和微调代码——Big Transfer是一种深度学习的计算机视觉模型。根据谷歌的说法，Big Transfer将允许任何人在相应的任务上达到最优表现，即使每个类只有少量的标签图片。这仅仅是这家科技巨头免费向公众开放其专有产品的一个例子。要知道，发布强大的免费开源软件已经成为科技界的常见事件，并引发了这样一个问题：大型科技公司这么做得到了什么回报？ 在90年代后期，当Open Source Initiative出现时，将源代码公开的想法被认为是一个坏策略，因为专有软件是标准，公司会尽一切努力保护软件。到2020年，开源的概念发生了巨大的变化，现在已经成为主流。 如今有许多开源技术公司，其中一些公司的年收入已经超过1亿美元（甚至10亿美元），包括红帽、MongoDB、Cloudera、MuleSoft、Hashicorp、Databricks（Spark）和Confluent（Kafka）。 除了上述科技公司高调收购和投资开源项目外，谷歌和Facebook等科技巨头也把开源放到了难以置信的重要位置，因为开源对于收集新产品的创新和建立一个庞大的开发者社区非常重要。例如，Flutter vs React Native、Tensorflow vs PyTorch、Kubernetes等

开发者社区技术周刊 又和大家见面了，快来看看这周有哪些值得我们开发者关注的重要新闻吧。 Google研究院推出处理文本图像新框架TReCS OpenAI将k8s扩展至7500个节点以支持机器学习 Apache ECharts 5正式发布 WebRTC成为W3C与IETF正式标准 国内首个自主可控区块链技术体系“长安链”发布 京东开源PyTorch人脸识别工具包FaceX-Zoo AAAI 2021丨Graph Diffusion Network提升交通流量预测精度 AAAI 2021丨利用标签之间的混淆关系，提升文本分类效果 行 业 要 闻 1.Google研究院推出处理文本图像新框架TReCS 为创建一种能够在任何语言之间进行翻译的通用神经机器翻译系统，Google 研究人员研发了一种新框架，即 TReCS（Tag-Retrieve-Compose Synthesize system） 。通过改进图像元素的唤起方式以及迹线如何通知其位置，从而显着增强图像生成过程。该系统接受了超过250亿个示例的培训，具有处理103种语言的潜力。其功能使鼠标轨迹与文本描述对齐，并为提供的短语创建可视标签。该框架利用可控的鼠标轨迹作为细粒度的视觉基础，根据用户的叙述生成高质量图像。标记器被用来预测短语中每个单词的对象标签。 2.OpenAI将k8s扩展至7500个节点以支持机器学习 为了满足GPT

　　在人工智能领域，微软又有大动作!继与Uber联合创始人共同投资AI芯片公司之后，微软近日又宣布向马斯克创办的OpenAI投资10亿美元，共同打造通用人工智能系统，解决全球共同面临的棘手问题，包括交通、气候、教育和医 疗等。OpenAI在声明中称：“我们相信通用人工智能将会成为人类史上最重要的技术发展，有可能重塑人类发展的轨迹。” 　　目前，全球主要国家和企业都在加码押注人工智能，传统经济也在加速向智能化方向转型升级，争取获得新一轮科技革命和产业变革的入场券。“没有人工智能，没有未来。江西财经大学客座教授、迪蒙智慧交通董事长向隽表示，传统经济发展乏力是全球性问题，以人工智能为新动能的智慧经济，成为扭转全球经济下行的关键力量。“人工智能是一个时代转折点，将深刻影响着全球主要国家和城市的命运与走向。” 　　无论是融资额还是应用场景拓展，中国人工智能企业表现突出。数据显示，2018年中国人工智能企业融资总额位居全球首位，中国企业向来追求技术的实用性，有超过75%的企业聚焦于人工智能场景应用开发，旨在解决行业发展痛点，突破转型瓶颈，增强用户体验，提升行业效率等，尤其在智能交通、科技金融、新零售、线上教育和医 疗等领域成绩抢眼。人工智能，正在成为中国经济转型升级的重要驱动力，也是中国在新一轮国际竞争中保持领先优势的关键因素。 　　大连妇科检查 mobile.0411fuke.com 　

DQN[1, 2] 是 Q-Learning 的一个扩展，可以归类为改进价值函数的参数化表示（使用神经网络来建模，而非简单的线性非线性表达），此外也更适用于“大”（或无穷）状态空间--相比与基于表格型方法，此外也简化了输入的表达形式（以 Atari game 为例）--使用连续 N 帧的 raw pixels 而非 handcrafted features（这里其实就是典型的深度学习套路了，宛如 CNN 在 ImagNet 上的屠榜）。 DQN 最早出现在 2013 年 [1]，也是我手写梯度传播的年份。 DQN[2] 使用如下方法更新模型参数: 这里分为两类模型参数 Target 和 Online ，下标 i 处理的不是很合理，因为它们是独立不同步更新的，准确的来说 Online 就是标准的深度学习梯度更新，而 Target 只做周期性的拷贝 的“更新”，这也是 Q-Learning 作为 off-policy 类方法的特点。 这里以 google/dopamine 里的 DQN CartPole-v0 为例，解释其核心代码，CartPole-v0 是一个平衡类的游戏，智能体需要根据环境的 Observation 作出对应的 Action，环境给予 Reward 和新的 Observation： 截图自 https://github.com/openai/gym/wiki

这里记录每周值得分享的科技内容，周五发布。 本杂志开源（GitHub: ruanyf/weekly ），欢迎提交 issue，投稿或推荐科技内容。 周刊讨论区的帖子 《谁在招人？》 ，提供大量程序员就业信息，欢迎访问或发布工作/实习岗位。 封面图 2020年7月21日，SpaceX 公司的 Falcon 9 重型火箭即将发射。NEOWISE 彗星就在它的上方，划过浩瀚宇宙。很多网站评选这张照片为太空探索年度照片。（ via ） 本周话题：封闭系统的胜利 去年的一件大事，苹果公司发布 M1 芯片。 它的表现好得惊人，比原先英特尔的芯片更快、更省电、还更便宜。 为什么 M1 芯片的表现这么好？ 一个 原因 是，它其实不能算作 CPU，而是一个单片系统 （System on a Chip，简称 SoC），里面集成了中央处理器 CPU、图形处理器 GPU、机器学习芯片 NPU、安全芯片等等。 当代芯片的制造技术已经发展到不可思议的程度，海量的晶体管可以做进一块指甲盖大小的硅片。以前，不同的电路需要由不同的芯片提供，现在可以集成为一块芯片。 正是由于这么多组件做在一起，苹果才有办法，最大限度地优化电路，提高协同能力，节省电力。再加上，操作系统也是自家的，可以配合着修改底层，所以性能才能提高这么多。 我问大家一个问题，如果 M1 大获成功，其他公司会怎么反应？ 答案很简单，别的公司不得不跟进

来源：新浪科技 据报道，旧金山人工智能研究公司OpenAI已经开发了一种新系统，能根据短文本来生成图像。 OpenAI在官方博客中表示，这个新系统名为DALL-E，名称来源于艺术家萨尔瓦多·达利（Salvador Dali）和皮克斯的机器人英雄瓦力（WALL-E）的结合。新系统展示了“为一系列广泛的概念”创造图像的能力，创作的作品包括牛油果形状的扶手椅等。 通过神经网络去生成图像，这种技术并不新颖。此前，生成对抗网络（GAN）已被广泛用于创建真实的人、宠物、租赁房产和食物的照片。 不过，DALL-E的独特之处在于可以根据输入的文本来创作图像。该系统基于文字生成系统GPT-3的一个版本，该系统此前被用于撰写诗歌和新闻文章等。利用配对好的文本和图像数据集进行训练，DALL-E可以根据新的文字提示生成图像，此外还展示了创造多种风格图片的能力。 　　OpenAI还发布了图像识别系统Clip。Clip通用性比当前针对单个任务的系统更好，可以用网上公开的文字图像配对数据集来训练。 　　DALL-E还需要继续优化。OpenAI指出，DALL-E目前的可靠性还存在问题，对类似“glass”等有多个含义的名词常常会混淆，文字中不同的语法也可能会造成不同的结果。 　　此外还有更深层次的问题需要解决。OpenAI表示：“我们注意到，涉及生成模型的工作可能会产生重大而广泛的社会影响。

选自 http:// github.io 作者：Jay Alammar 机器之心编译 原文链接： https://mp.weixin.qq.com/s/tXMA4y1nryAlVO3cBS1LXQ ​ mp.weixin.qq.com 今年涌现出了许多机器学习的精彩应用，令人目不暇接，OpenAI 的 GPT-2 就是其中之一。它在文本生成上有着惊艳的表现，其生成的文本在上下文连贯性和情感表达上都超过了人们对目前阶段语言模型的预期。仅从模型架构而言，GPT-2 并没有特别新颖的架构，它和只带有解码器的 transformer 模型很像。 然而，GPT-2 有着超大的规模，它是一个在海量数据集上训练的基于 transformer 的巨大模型。GPT-2 成功的背后究竟隐藏着什么秘密？本文将带你一起探索取得优异性能的 GPT-2 模型架构，重点阐释其中关键的自注意力（self-attention）层，并且看一看 GPT-2 采用的只有解码器的 transformer 架构在语言建模之外的应用。 作者之前写过一篇相关的介绍性文章「The Illustrated Transformer」，本文将在其基础上加入更多关于 transformer 模型内部工作原理的可视化解释，以及这段时间以来关于 transformer 模型的新进展。基于 transformer 的模型在持续演进

我的机器学习教程 「美团」算法工程师带你入门机器学习 已经开始更新了，欢迎大家订阅~ 任何关于 算法、编程、AI行业知识 或博客内容的问题，可以随时扫码关注 公众号「图灵的猫」 ，加入”学习小组“，沙雕博主在线答疑~此外，公众号内还有更多AI、算法、编程和大数据知识分享，以及免费的SSR节点和学习资料。其他平台（知乎/B站）也是同名「图灵的猫」，不要迷路哦 ​ ​ ​ ​ BERT模型代码已经发布，可以在我的github: NLP-BERT--Python3.6-pytorch 中下载，请记得start哦 目录 一、前言 二、如何理解BERT模型 三、BERT模型解析 论文的核心：详解BERT模型架构 关键创新：预训练任务 实验结果 四、BERT模型的影响 对BERT模型的观点 参考文献 一、前言 最近谷歌搞了个大新闻，公司AI团队新发布的BERT模型，在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩： 全部两个衡量指标上全面超越人类，并且还在11种不同NLP测试中创出最佳成绩 ，包括将GLUE基准推至80.4％（绝对改进7.6％），MultiNLI准确度达到86.7% （绝对改进率5.6％）等。可以预见的是，BERT将为NLP带来里程碑式的改变，也是NLP领域近期最重要的进展。 ​ 谷歌团队的Thang Luong直接定义： BERT模型开启了NLP的新时代！ ​

点击上方“AI公园”，关注公众号，选择加“星标“或“置顶” 作者： Alireza Dirafzoon 编译：ronghuaiyang 导读 在单GPU上就可以运行的Transformer模型，而且几乎不损失精度，了解一下？ 如果你一直在开发机器学习算法用于处理连续数据 —— 例如语言处理中的文本，语音信号，或视频 —— 你可能听说过或使用过Transformer，你可能知道这和是推特中认为的不同于一个东西。 图1，打破僵局，摘自Chris Manning教授的推特 最近，谷歌推出了Reformer架构，Transformer模型旨在有效地处理处理很长的时间序列的数据(例如，在语言处理多达100万个单词)。Reformer的执行只需要更少的内存消耗，并且即使在单个GPU上运行也可以获得非常好的性能。论文 Reformer: The efficient Transformer 将在ICLR 2020上发表(并在评审中获得了近乎完美的分数)。Reformer模型有望通过超越语言应用(如音乐、语音、图像和视频生成)对该领域产生重大影响。 在这篇文章中,我们将努力深入Reformer模型并试着去理解一些可视化方面的指南。准备好了吗？ 为什么是Transformer? 在NLP类的任务中，如机器翻译、文本生成、问答，可以被形式化为sequence-to-sequence的学习问题。长短期记忆