强化学习

12月30日，腾讯宣布其人工智能球队摘得首届谷歌足球Kaggle竞赛冠军。该冠军球队来自腾讯AI Lab研发的绝悟WeKick版本，凭借1785.8的总分在与全球顶级技术团队的竞技中以显著优势胜出。 今年11月底，腾讯AI Lab与王者荣耀联合研发的策略协作型AI绝悟升级为完全体，首次让AI精通了所有英雄的所有技能。此次绝悟WeKick版本的整体设计正是基于绝悟完全体迁移得到，并针对足球任务进行了一些针对性的调整，展现了绝悟AI背后深度强化学习方法的通用能力。 Kaggle 竞赛 google-football 排行榜前十名， 来自 https://www.kaggle.com/c/google-football/leaderboard Kaggle创立于2010年，是全球最大的数据科学社区和数据科学竞赛平台。此次足球AI比赛由Google Research与英超曼城俱乐部在Kaggle平台上联合举办。 一直以来，足球运动团队策略以其复杂性、多样性和高难度，成为长期困扰世界顶尖AI研究团队的难题，更加稀疏的游戏激励也使得其成为比MOBA游戏更难攻克的目标。今年Kaggle首次针对足球AI领域发布赛题，为深度强化学习多智能体技术竞技和基准评测提供了一个全新舞台。深度强化学习多智能体技术竞技和基准评测提供了一个全新舞台。 比赛使用Google Research

几年前如果熟练使用TensorFlow，同时掌握基本的AI算法就可以很容易找到一份高薪的工作，但现在不一样了，AI岗位的要求越来越高，对知识的深度也提出了更高的要求。 如果现在 一个面试官 让你从零推导SVM的Dual、从零实现CRF、推导LDA、设计一个QP问题、从零编写XLNet、编写GCN/GNN、改造SkipGram模型、用一天时间复现一篇顶级会议.... 这些要求一点都不过分。相反，连这些基本内容都有些吃力，就需要重新审视一下自己的核心技术壁垒了。 为了迎合时代的需求，我们去年推出了 《机器学习高端训练营》 班。这个训练营的目的很简单： 想培养更多高端的人才，帮助那些即将或者目前从事科研的朋友，同时帮助已从事AI行业的提高技术深度。 在本期训练营（第四期）中我们对内容做了大幅度的更新，一方面新增了对前沿主题的讲解如 图神经网络（GCN,GAT等） ，另外一方面对核心部分（如凸优化、强化学习）加大了对 理论层面上的深度 。 除此之外，也会包含 科 研方法论、元学习、解释性、Fair learning 等系列主题。 目前在全网上应该找不到类似体系化的课程。 课程仍然采用 全程直播 授课模式。 那什么样的人适合来参加高阶班呢？ 从事AI行业多年，但技术上总感觉不够深入，感觉在技术上遇到了瓶颈； 停留在使用模型/工具上，很难基于业务场景来提出新的模型； 对于机器学习背后的优化理论

来源：AI科技评论 编译：Mr Bear 本文介绍了Yoshua Bengio及其学生Anirudh Goyal近期发表的一篇论文，该论文围绕“归纳偏置”概念，展开了对当下人工智能研究现状的讨论，并提出了富有启发性的观点：不同的深度学习架构基于不同的归纳偏置，探索更大范畴的归纳偏置，是实现人工智能研究进步的关键。 该论文篇幅长达43页，讨论的主题有： 深度学习是否收敛？ 归纳偏置是什么 基于高级认知的归纳偏置是通向分布外泛化系统的途径 因果依赖的声明性知识 高级认知的生物学启示与表征 近期与扩展归纳偏置相关的工作 未来的研究方向 回顾过去：与经典符号AI的关系 AI科技评论编译了“归纳偏置是什么”以及“未来的研究方向”两部分的内容，希望对读者有所启发。 论文：Inductive Biases for Deep Learning of Higher-Level Cognition 地址：https://arxiv.org/pdf/2011.15091.pdf 我们不妨做出一个有趣的假设：可以通过一些原理（而非广博的启发式方法）来解释人类和动物的智能。 如果这个假设成立，那么我们就可以更容易地理解人类本身的智能并且构建智能机器。正如在物理学中的那样，这些原理并不足以预测像大脑这样的复杂系统的行为，我们可能需要通过大量的计算来模拟类人智能。 上述假设意在指出：研究人类和动物利用的归纳偏置

文/黄康瑄 来源/智能相对论（aixdlun） “醒来灿烂星光透过了窗台，海岸线连接了那片山川大海。涌动梦境边缘像是空旷舞台，在眼前忽然展开。”看到这段文字，你的脑海中是否浮现出靛蓝星空风云变幻、透出曙光豁然开朗的景象呢? 网易“醒来” 这段文从字顺且颇具画面感的歌词并非出自人类之手，而是由网易新开发的人工智能所创作。日前，由 网易伏羲、网易雷火音频部提供作词、作曲、编曲、演唱等全链路AI技术支持的歌曲《醒来》 ，在“2020网易未来大会”上正式发布。这是网易首次完成由AI完全生成的歌曲，从创作到演唱， 整首歌曲从无到有仅需一小时。 其实在此之前，网易一直都在默默进行大数据平台、强化学习、图像动作、自然语言处理等围绕游戏领域的人工智能研究，毕竟游戏才是人家最赚钱的业务。《醒来》的歌词创作就是依托于网易游戏伏羲人工智能实验室较为成熟的语言处理技术。 网易伏羲利用其自主研发的“有灵智能创作平台”，让AI学会人类语言组织的基本逻辑。再借助大规模语料训练实现端到端的歌词生成，并通过自研的方法控制不同参数下的歌词创作。 有灵平台的预训练语言模型可提高歌词质量，确保生成内容的流畅性和上下文相关性。如《醒来》的歌词内容便是为了契合大会主题“洞觉·未见”而编写的一个关于AI虚拟人类在深夜苏醒的故事。 “智能相对论”了解到， 作曲方面，网易伏羲根据乐理的数据分析，形成一套用于生成旋律的算法

不到现场，照样看最干货的学术报告！ 嗨，大家好。这里是学术报告专栏，读芯术小编不定期挑选并亲自跑会，为大家奉献科技领域最优秀的学术报告，为同学们记录报告干货，并想方设法搞到一手的PPT和现场视频——足够干货，足够新鲜！话不多说，快快看过来，希望这些优秀的青年学者、专家杰青的学术报告 ，能让您在业余时间的知识阅读更有价值。 2018年8月4月，由北京理工 大学大数据创新学习中心与中国科学院人工智能联盟标准组联合主办的“2018深度强化学习：理论与应用”学术研讨会，学界与业界顶级专家济济一堂，共同分享深度 强化学习领域的研究成果。 阿里巴巴淘宝技术部图像算法工程师洪佳鹏以生成对抗网络和隐层属性交换的人脸属性迁移为主题做了报告，以下分享内容根据嘉宾口头分享整理。 生成对抗网络和隐层属性交换的人脸属性迁移 洪佳鹏 阿里巴巴淘宝技术部图像算法工程师 我的报告内容主要涉及生成对抗网络和图像翻译，首先简单介绍生成对抗网络。生成对抗网络分为两部分，就是生成器和判别器，二者是存在对抗的。生成体现在生成器从无到有，对抗体现在生成器和判别器的目标。可以从目标函数看出，判别器的任务就是判别真假样本，生成器的任务就是要骗过它，使得生成的样本判定成一个真的样本。生成器生成样本，经过判别器的判别以后反馈给它的信息是生成的还不够好，也会引导继续生成更好的样本。 下面来看一下图像到图像翻译的任务，通常简称为图像翻译

每天进步一点点，关注&置顶“ 我爱计算机视觉 ” CV君：本文作者为百度 PaddlePaddle 组技术布道师Charlotte77，内容全是实战经验的精炼总结，强烈推荐大家收藏。 除了列出来的内容，各位读者有什么独门秘籍也欢迎文末留言分享！截止到明晚23点（7月22日），留言被点赞最多的深度学习绝招，联系CV君（文末扫码）发50元红包！ 昨天看到几篇不同的文章写关于机器学习的to do & not to do，有些观点赞同，有些不赞同，是现在算法岗位这么热门，已经不像几年前一样，可能跑过一些项目、懂点原理就可以了，现在对大家的要求更高，尤其工程能力更不可缺少，只跑过一些iris鸢尾花分类、啤酒与尿布、猫狗分类等的同学需要再提高提高，因为竞争太激烈了， 我在这里结合我自己的经验 总结一下 吧～ To Do 做项目时，边搜集数据可以边用已经搜集好的 少部分数据跑模型 。不用等到所有数据都搜集好了再跑。 不知道什么算法合适，可以直接把所有的算法都跑一遍，看效果再选择，多跑几个应用场景你就知道什么算法适合什么场景，什么数据对不同的算法会有什么影响了。 不知道什么参数是最佳参数，可以用random search或者grid search自动搜索最佳参数组合，有经验以后对于每个参数的大概范围心里会有个数。 一定要练习工程能力，只会调参的demo侠现在很难找到工作啦。 模型复现和刷题

开发者社区技术周刊又和大家见面了，让我们一起看看，过去一周有哪些值得我们开发者关注的重要新闻吧。 一分钟速览 中科院计算所率先提出全球首款图神经网络加速芯片设计 IDC发布2021年中国云计算10大预测 世界物联网大会：中国物联网产值占全球 1/4，5G 用户占全球 85% Docker 桌面为 M1 推出技术预览版 台积电、斯坦福等联手开发碳纳米管晶体管新工艺，性能逼近硅元件 IBM着手破解FHE,在隐私和云计算的未来上具有巨大的潜力 AAAI 2021 | 天津大学、苏州科技大学等探究用于终身学习的多领域多任务预演 使用策略搜索计划来改进连续领域的深度强化学习的探索 技 术 要 闻 Industry News 1， 中科院计算所率先提出全球首款图神经网络加速芯片设计 《中国计算机学会通讯》(CCCF)近日刊发了中科院计算所特别研究助理严明玉、研究员范东睿以及研究员叶笑春共同撰写的综述文章《图神经网络加速芯片：人工智能“认知智能”阶段起飞的推进剂》。文章披露，该团队提出了图神经网络加速芯片设计“HyGCN”，图神经网络被认为有望解决深度学习无法处理的关系推理、可解释性等一系列问题，让机器「能理解、会思考」。相关论文也先后在计算机体系结构国际会议上发表。严明玉在受访时说，图神经网络在搜索、推荐、风险控制等重要领域有着广泛应用。现有的处理器芯片在执行图神经网络的计算中效率低下

来源：www.lovehhy.net 神经架构搜索（NAS）是当前深度学习最热门的话题之一。 什么是NAS方法呢？ 从概念上讲，NAS方法专注于为给定问题和数据集找到合适的神经网络体系结构。不妨将这个方法理解为使机器学习架构本身成为机器来学习问题。近年来，NAS技术的数量激增，并且正在更多主流的深度学习框架和平台得到应用。但是，第一代NAS模型在经历神经网络域名变更时遇到了许多困难。因此，寻找新的NAS技术极有可能会继续推动该领域的深层次创新。 来源：www.raincent.com 最近，微软研究院推出了Petridish，一种优化神经网络结构选择的NAS算法。 之所以开发NAS，是因为神经网络的设计过程相当消耗资源。在当前的深度学习生态系统中，借助于知名的，性能一流的网络，数据集可能与之前已被证实的网络所遇到的完全不同，几乎没什么保证。在许多情况下，NAS方法通常需要数百天才能找到好的架构，并且效果几乎很难比随机搜索好。机器学习中还有一个类似于NAS技术挑战的问题：特征选择。 就像NAS方法一样，特征选择算法需要为给定特定数据集的模型提取相关特征。显然，选择特征比神经网络体系结构要简单得多，但是特征选择技术的许多原理为Petridish团队提供了灵感。 获取经验的方式：NAS的简要历史 鉴于NAS方法最近的热度，许多人可能认为NAS是一门新兴学科。 毫无疑问，自2016年以来

点击蓝字 关注我们 AI TIME欢迎每一位AI爱好者的加入！ 12月18日晚8:00-9:00 AI TIME特别邀请了2位优秀的讲者跟大家共同开启NeurIPS 2020专场四！ 哔哩哔哩直播通道 扫码 关注AITIME哔哩哔哩官方账号 观看直播 链接： https://live.bilibili.com/21813994 ★ 邀请嘉宾 ★ 朱时超： 本科毕业于哈尔滨工业大学，现为中国科学院大学博士四年级在读学生，导师为王斌，指导老师为周川和潘世瑞，主要研究方向为图神经网络和异质图表示学习的理论研究及其应用。 报告题目： 图几何交互学习 摘要： 图几何交互学习GIL首次打破几何空间特征嵌入的壁垒，将图神经网络拓展到欧氏空间和双曲空间进行交互学习，综合利用双曲和欧几里得拓扑特征的几何表示学习方法。GIL针对不同的几何图派生出一种新颖的距离感知传播和交互学习方案，并以自适应的方式为每个节点的不同几何嵌入分配不同的重要性权重。我们的方法在节点分类和链接预测任务的五个基准测试中取得了最先进的性能，大量的理论推导和实验分析也验证了GIL方法的有效性。 韩东起： 本科毕业于中国科学技术大学物理系，现为Cognitive Neurorobotics Research Unit, Okinawa Institute of Science and Technology (OIST) 的PhD

淘宝直播最近连续三年直播引导成交大幅增长，2020年以来，有100多种职业转战淘宝直播间，无论达人身份还是商家身份，都在新风口的驱动下大量入场。如何应对双十一这种高峰值用户直播需求，这无疑对淘宝直播提出了更高的技术要求和挑战。同时，电商直播有强互动诉求，主播对弹幕的回复越及时，对购买越有促进效果。 通过AB测试验证，延时对电商直播GMV有正向作用。但常规的HLS、FLV、RTMP等直播格式延时很难再降低，常规直播CDN也已经不再适合更低延时的直播，整个技术体系需要升级。为了降低直播延时，行业上有几种做法： 方案对比 私有协议 TCP协议栈优化 QUIC SRT WEBRTC 效果 最好 一般 较好 较好 好 通用性 差 最佳 佳 较低 良 实现难度 难 可深可浅 一般 一般 难 LHLS、CMAF甚至LLHLS方案的延时，基本都会超过2秒，暂不做比较。综合考虑，WEBRTC方案相对符合我们的需求。淘系技术部跟阿里云一起共建了一张基于WEBRTC低延时多媒体传输网。 通信、直播二网合一的低延时传输网 直播的延时始终是个老大难问题，很多团队都在考虑怎么降低延迟。低延迟传输是一个综合性的问题，要从整体入手，不仅要从设计上考虑，还需要客户端，服务器，数据系统紧密配合。最根本的传输协议不升级，延迟始终有一个天花板。 RTCP协议头 对于传统的rtmp，hls，http