强化学习

来源 | HyperAI超神经 头图 | 视觉中国 近日，日本的一个 AI 分拣鱼类项目进入实验阶段。这将有望改善日本渔业劳动力老龄化及短缺的社会现状。 日本作为岛国，其独特的地理位置，让国民自古以来就跟鱼结下了不解之缘，甚至形成了其独特的「鱼文化」。因此，日本无论是在养鱼、捕鱼还是吃鱼方面，都堪称国际代表。 但是近年来，日本渔业却面临劳动力老龄化与短缺的压力，为此，相关部门正在推动渔业的自动化作业，以及时弥补人力空缺。 AI 看图识鱼，每分钟分装 100 条 餐桌上每一道鲜美的海鱼背后，都离不开渔民的辛苦工作。每一次的出海，渔民们不仅负责将海鲜打捞上船，为了保证渔获的新鲜，他们还要在最短的时间里将其分拣、冲洗、冷藏。 时间的紧迫，往往让他们顾不得天气状况，于是顶着烈日或冒雨作业都是家常便饭。 打渔这份艰辛的工作，越来越难以吸引年轻人。人口老龄化、劳动力短缺，成为制约日本渔业发展的一大因素。 近日，日本青森县八户市则开启了一项前所未有的实验——使用配备有 AI 系统与摄像头的设备，代替渔民，对捕捞上来的活鱼进行自动分类。 在短短 35 分钟的时间里，这台设备就分拣了约 1 吨的鲑鱼、鳕鱼、青花鱼和鲱鱼。 这一项目从 2018 年就已启动，日本农业、林业和渔业部出资 1.3 亿日元（约合人民币 812.7 万元），共同委托青森县产业技术中心食品研究所

由于近些年深度学习技术的飞速发展，大力加速推动了AI在互联网以及传统各个行业的商业化落地，其中， 推荐系统 、计算广告等领域彰显的尤为明显。由于推荐系统与提升用户量以及商业化变现有着密不可分的联系，各大公司都放出了众多推荐系统相关职位，且薪水不菲，目前发展势头很猛。 但是，这里存在几个问题，很多欲从事推荐系统的同学大多数学习的方式是自学，1、往往是学了很多的推荐算法模型，了解些推荐里常用的算法，如：协同过滤、FM、deepFM等， 但是却不清楚这些模型在工业界推荐系统中是如何串联、如何配合、有哪些坑，哪些trick的，导致无论面试还是真正去业界做推荐系统，都会被推荐领域的”老枪老炮“们一眼识别出小白属性 。2、对于算法原理理解不深刻，这就会导致实际应用时不能很好地将模型的性能发挥出来，另外面试时对于大厂面试官的刨根问底，只能是眼睁睁的丢掉offer。 CF、FM、DSSM、DeepFM等这些推荐业界明星模型，你真的清楚他们的内部运行原理以及使用场景吗？真的了解FM模型与SVM有什么相似之处吗？FM固然可以用作为打分模型，但它可以用来做matching吗，如果可以，如何做？item2Vec模型在业界是如何缓解冷启动的问题的？双塔模型优势在哪？深度模型到底是如何做matching的，是离线计算好结果还是实时的对网络进行前向计算？DeepFM具体实现时

1、“无模型学习”的基本概念 　　在前一章中提到的基于动态规划的策略迭代和值迭代求解强化学习都属于“有模型学习”，都是在需要知道状态转移概率矩阵的前提下才能适用的算法。然而在现实很多场景中，我们无法获得环境信息，也就是状态转移概率矩阵未知。此时我们无法再利用策略迭代和值迭代算法来求解，需要提出新的方法来求解强化学习问题。 　　首先来回顾下强化学习自身的特点：不断试错，也就是通过尝试与环境交互来解决策略评估的问题。实际上，这个不断尝试的思路和人类的一些学习方式比较接近，我们可以列出新算法的答题思路： 　　1）确定一个初始策略（这个和策略迭代的算法一致）。 　　2）在当前状态下用这个策略在选择动作，得到一条状态-动作系列。 　　3）重复第 2）步得到一定数目的状态-动作系列，当这个数目达到一定的程度，根据大数定理，就可以认为这些序列能代表当前策略和环境交互的表现，将这些序列聚合起来，去这些序列动作价值的均值作为当前状态的动作价值。 　　4）得到了价值函数，就相当于完成了策略评估的过程，之后就可以按照策略迭代的方法来更新策略。 　　5）依次迭代上面的步骤，直至价值函数和策略收敛到最优。 　　根据上面的答题思路，“无模型学习” 和 “有模型学习” 的区别主要在于策略评估过程，针对上面的思路，最关键的两点就是： 　　1）在没有状态转移概率矩阵的情况下如何获得这些序列。 　　2

来源：专知 强化学习(RL)[17]和因果推理[10]都是机器学习不可缺少的组成部分，在人工智能中都发挥着至关重要的作用。 最初促使我整合这两者的是机器学习在医疗保健和医学领域的最新发展。回顾过去，人类自出生以来就不可避免地伴随着疾病，并为追求健康而不懈地与疾病作斗争。近几十年来，机器学习的蓬勃发展促进了医疗保健领域的革命性发展:一些人工智能系统在癌症分类[1]、癌症检测[8]、糖尿病视网膜病变检测[3]、致盲性视网膜疾病诊断[7]等方面已经接近甚至超过了人类专家。得益于计算能力和能力的持续激增，人工智能(AI)无疑将帮助重塑医学的未来。想象一下这样的场景:在未来，每个人都有一个个性化的人工智能医生在自己的桌子上，记录着他们从出生开始的所有病历数据。根据个人的医疗数据，可以提前预测和预防个人的死亡，或至少及时治愈，这在很大程度上可以延长人的预期寿命。 然而，目前成功应用于上述医疗问题的方法仅仅是基于关联而不是因果关系。 在统计学中，人们普遍认为关联在逻辑上并不意味着因果关系[10,12]。关联与因果之间的关系由莱辛巴赫·[14]将其形式化为著名的共同原因原理:如果两个随机变量{X}和{Y}在统计学上是相互依存的，那么下面的一个因果解释必须成立:a) {X}导致{Y};b) {Y}导致{X};c)存在一个随机变量{Z}，它是引起{X}和{Y}的共同原因。 因此，与关联相比

[TOC] 定义 蒋新松[1]在文献中为路径规划作出了这样的定义：路径规划是自治式移动机器人的一个重要组成部分，它的任务就是在具有障碍物的环境内按照一定的评价标准，寻找一条从起始状态（包括位置和姿态）到达目标状态（包括位置和姿态）的无碰路径。障碍物在环境中的不同分布情况当然直接影响到规划的路径，而目标位置的确定则是由更高一级的任务分解模块提供的。 [1]蒋新松著.机器人学导论[M].辽宁科学技术出版社，1994：511-554 分类 路径规划分为依据已获取的全局环境信息，给机器人规划出一条从起点至终点的运动路径的全局路径规划方法（GlobalPath Planning）和侧重考虑机器人探知的当前局部环境信息，这使机器人具有较好的避碰能力的局部路径规划方法（LocalPath Planning）。 全局路径规划 全局路径规划规划方法的精确程度取决于获取环境信息的准确程度。通常可以寻找最优解，但需要预先知道准确的全局环境信息。 局部路径规划 局部规划仅依靠传感系统实时感知的信息，与全局规划方法相比，局部规划更具实时性和实用性；对动态环境具有较强适应能力；但是由于仅依靠局部信息，有时会产生局部极值点或振荡，无法保证机器人能顺利地到达目标点。 方法 传统规划算法 人工势场法 最初是1986年出Khatib提出，其基本思想是将移动机器人在环境中的运动视为一种虚拟人工受力场中的运动

本文对百度NLP入选ACL 2020的论文 《Conversational Graph Grounded Policy Learning for Open-Domain Conversation Generation》 进行解读，该论文提出用图的形式捕捉对话转移规律作为先验信息，用于辅助开放域多轮对话策略学习，并提出了一个基于CG的策略学习框架。 引言 研究人员首先从对话语料库中构建了一个 对话图谱（Conversational Graph） ，其中节点表示“What to say”和“How to say”，边表示当前句（对话上文中的最后一个语句）与其回复句之间的自然转换。然后，论文中提出了一个基于对话图的策略学习框架，该框架通过图遍历进行对话流规划，学习在每轮从对话图中识别出一个“What”节点和“How”节点来指导回复生成。 这样可以有效地利用对话图谱来促进策略学习，具体如下： 可以实现更有效的长期奖励设计； 提供高质量的候选操作； 让对策略有更多的控制，在两个基准语料库的实验结果表明了所提框架的有效性。 模型介绍 论文中提出了基于对话图谱(CG)的开放域多轮对话策略模型。其中，对话图谱用来捕捉对话中的局部合适度以及全局连贯度信息。直观上， 策略模型以图中的What-节点 (关键词)作为可解释的离散状态，进而模型得以主动规划对话内容，进而提升多轮连贯度和可控性 。

作者｜李晶阳[1]，牛广林[2]，唐呈光[1]，余海洋[1]，李杨[1]，付彬[1]，孙健[1] 单位｜阿里巴巴-达摩院-小蜜Conversational AI团队[1]，北京航空航天大学计算机学院[2] 摘要 行业知识图谱是行业认知智能化应用的基石。目前在大部分细分垂直领域中，行业知识图谱的 schema 构建依赖领域专家的重度参与，该模式人力投入成本高，建设周期长，同时在缺乏大规模有监督数据的情形下的信息抽取效果欠佳，这限制了行业知识图谱的落地且降低了图谱的接受度。 本文对与上述 schema 构建和低资源抽取困难相关的最新技术进展进行了整理和分析，其中包含我们在半自动 schema 构建方面的实践，同时给出了 Document AI 和长结构化语言模型在文档级信息抽取上的前沿技术分析和讨论，期望能给同行的研究工作带来一定的启发和帮助。 引言 从计算到感知再到认知的人工智能技术发展路径已经成为大多人工智能研究和应用专家的共识。机器具备认知智能，进而实现推理、归纳、决策甚至创作，在一定程度上需要一个充满知识的大脑。知识图谱 [4, 18, 19]，作为互联网时代越来越普及的语义知识形式化描述框架，已成为推动人工智能从感知能力向认知能力发展的重要途径。 知识图谱的应用现在非常广泛：在通用领域，Google、百度等搜索公司利用其提供智能搜索服务，IBM Waston 问答机器人

1.【腾讯】中国首款智能显微镜获批进入临床：病理诊断AI化，腾讯AI Lab打造 https://www.jiqizhixin.com/articles/2020-04-09-12 2.【学习】面试资源、公共API、多样化学习路径，这10个GitHub库开发者必看 https://www.jiqizhixin.com/articles/2020-04-09-11 3.【观察】病毒「测出」美国制造业空心化？三十年离岸外包让美国制造栽跟头 https://www.jiqizhixin.com/articles/2020-04-09-5 4.【东软医疗】杨明雷：万字图文，拆解成像端及专科化AI最新进展 https://www.leiphone.com/news/202004/pwhPKgEYpGe1mSP0.html 5.【论文】强化学习；可重构GANs；BachGAN；时间序列分类等 https://www.leiphone.com/news/202004/FeaY2rcsiEhpA0sZ.html 6.【楚航科技】加速千亿级车载雷达市场布局，楚航科技获数千万新一轮融资 https://www.iyiou.com/p/126161.html 7.【通用】车企转产呼吸机，通用已拿下5亿美元合同 https://www.iyiou.com/p/126189.html 本文分享自微信公众号

欢迎访问 网易云社区 ，了解更多网易技术产品运营经验。 这个双十一，人工智能市场火爆，从智能音箱到智能分拣机器人，人工智能已逐渐渗透到我们的生活的方方面面。 网易云社区 联合 博文视点 为大家带来人工智能热门图书专场，这些书籍将引领我们一起去解密人工智能，了解这位即将走进我们生活的“朋友”。 知乎活动的帖子： https://zhuanlan.zhihu.com/p/50078535 参与规则：在知乎帖子评论回复以下你最想看的一本书名称即可。注意是知乎帖子回复，不是本帖回复哦 以下为奖品图书简介： 1、《解析深度学习：卷积神经网络原理与视觉实践》 编辑推荐 本书是对治深度学习恐惧症的一剂良药。作者魏秀参博士，毕业于著名的南京大学LAMDA研究所，现为旷视科技南京研究院负责人。本书凝聚了他多年的功力，集原理与实践于一体，将卷积神经网络这颗仙丹炼得出神入化，以此攻克计算机视觉实践中的一个又一个难题。 全书没有佶屈聱牙的文字、没有艰涩难懂的术语，只有明明白白的道理、由浅入深的论证、清晰流畅的架构。在内容的安排上，兼顾了基础知识和学习难点，各有侧重，让初学者不仅可以看明白、而且能够读懂，知其所以然并举一反三运用到自己的工程实践中。 无怪乎，业内专家认为“本书可能是我知道的“醉”好的深度学习的中文入门教材”。 内容提要 深度学习，特别是深度卷积神经网络是人工智能的重要分支领域

「年度总结」微软学生大使、VSC中文社区、KDD CUP…2020，我与技术社区 前言： 2020年是难忘的一年。如果用一个词概括2020年的话，我认为是『改变』：于「世界」是，于「我的生活」是，于「我在技术社区」亦是。2020年我从大四步入研一，上半年因疫情在家读代码、看计算机专业课来“练内功”；下半年，终于感觉自己开始“融入圈子”（一个从0到1的过程），在技术社区有了一定的参与度。 在此，做出总结，发现问题，以期改善，过好2021。 文章目录 「年度总结」微软学生大使、VSC中文社区、KDD CUP...2020，我与技术社区 贰零贰零 練 · 内功 VSC中文社区核心志愿者 微软学生大使（Microsoft Learn Student Ambassadors, MLSA） KDD CUP 2020 社区、产品与自媒体 贰零贰壹 贰零贰零 練 · 内功 2020年，大概练了以下内功： 强化学习基础知识学习，尤其是将 github.com / ShangtongZhang 的复现代码全部读了一遍，这对于我理解 RL 基础算法很有帮助——但帮助更大的是，加深了我对 python 的理解，比如迭代器的使用、嵌套列表、命名规范等等 计算机基础课程，听了一遍课程，在 CSDN 上记了笔记（总体来讲不扎实，因为没有写作业，也没有读教材）： 汇编语言与计算机系统结构(Assembly