强化学习

一：深度强化学习核心技术实战班 时间地点：11 月 27 日— 11 月30 日 北京 (第一天报到 授课三天；提前环境部署 电脑测试) 课程一、强化学习简介 课程二、强化学习基础 课程三、深度强化学习基础 课程四、多智能体深度强化学习 课程五、多任务深度强化学习 课程六、强化学习应用 课程七、仿真实验 课程八、辅助课程 二：深度学习DeepLearning实战班 时间地点：12 月 18 日— 12 月 21 日 线上直播 三、培训方式：（即日起，开始报名！） 1、远程在线 （集中时间远程操作培训） 2、作业训练 （规定的时间把作业完成） 3、集中答疑 （统一时间进行疑难问题答疑） 四、主讲内容: 课程一： Tensorflow入门到熟练： 课程二：图像分类： 课程三：物体检测： 课程四：人脸识别： 课程五：算法实现： 1、卷积神经网络CNN 2、循环神经网络RNN 3、强化学习DRL 4、对抗性生成网络GAN 5、迁移学习TL 胡尚杰（老师） 手机：13311241619 官方咨询QQ：2209431734 强化学习QQ交流群群号： 872395038（加群备注：胡尚杰邀请） 深度学习网络课程QQ群群号： 1057802989（加群备注：胡尚杰邀请） 来源： oschina 链接： https://my.oschina.net/u/4350184/blog/4715762

一：深度强化学习核心技术实战培训班 时间地点：11 月 27 日— 11 月30 日 北京 (第一天报到 授课三天；提前环境部署 电脑测试) 课程一、强化学习简介 课程二、强化学习基础 课程三、深度强化学习基础 课程四、多智能体深度强化学习 课程五、多任务深度强化学习 课程六、强化学习应用 课程七、仿真实验 课程八、辅助课程 二：深度学习DeepLearning实战培训班 时间地点：12 月 18 日— 12 月 21 日 线上直播 三、培训方式：（即日起，开始报名！） 1、远程在线 （集中时间远程操作培训） 2、作业训练 （规定的时间把作业完成） 3、集中答疑 （统一时间进行疑难问题答疑） 四、主讲内容: 课程一： Tensorflow入门到熟练： 课程二：图像分类： 课程三：物体检测： 课程四：人脸识别： 课程五：算法实现： 1、卷积神经网络CNN 2、循环神经网络RNN 3、强化学习DRL 4、对抗性生成网络GAN 5、迁移学习TL 胡尚杰（老师） 手机：13311241619 官方咨询QQ：2209431734 强化学习QQ交流群群号： 872395038（加群备注：胡尚杰邀请） 深度学习网络课程QQ群群号： 1057802989（加群备注：胡尚杰邀请） 来源： oschina 链接： https://my.oschina.net/u/4300092/blog

简介： 如何根据用户反馈作出快速及时的实时推荐？ 如今的推荐系统，对于实时性的要求越来越高，实时推荐的流程大致可以概括为：推荐系统对于用户的请求产生推荐，用户对推荐结果作出反馈 (购买/点击/离开等等)，推荐系统再根据用户反馈作出新的推荐。这个过程中有两个值得关注的地方： 这可被视为是一个推荐系统和用户不断交互、互相影响的过程。 推荐系统需要对用户反馈作出快速及时的响应。 这两点本篇分别通过强化学习和 Flink 来实现，而在此之前先了解一些背景概念。 强化学习 强化学习领域的知名教材 《Reinforcement Learning: An Introduction》开篇就写道 ： 当我们思考学习的本质的时候，脑中首先联想到的可能就是在与环境不断交互中学习。当一个婴儿在玩耍、挥舞手臂或是旁顾四周时，并没有任何老师教它，但它确实能直接感知到周围环境的变化。 强化学习的主要过程是构建一个智能体，使之在与环境交互的过程中不断学习，以期获得最大的期望奖励。它是一种非常通用的学习范式，可以用于对各种各样问题的建模，比如游戏、机器人、自动驾驶、人机交互、推荐、健康护理等等。其与监督学习的主要不同点在于：强化学习根据延迟的反馈通过不断试错 (trial-and-error) 进行学习，而监督学习则是每一步都有明确的反馈信息进行学习。 下图反映了一个推荐智能体 (recommender agent

2020年11月5日对我来说是一个值得纪念的日子，在这一天，我拿到了离开学校十多年后的第一个证书。 为什么选择PMP？ 说实话，一开始我并没有打算要学点什么，我是一个随遇而安的人，对于考证进修并没有什么概念。直到3月份的某一天，两个基友朋友要报名考PMP，问我要不要一起报名。经过一夜的思想斗争，最后我还是决定要报名参加这个考试。或许是因为安逸了太久生活有些麻木，或许是想起当年学习时候的刻苦努力，也或许是突然有了股不服输的信念，总之还是跟着一起报名了，做了这个决定后最大的想法就是感谢这两个朋友拉了兄弟一把，一起再努努力，尽量不要彻底躺平做一条咸鱼…PMP的好处网上一抓一大把，这里就不细说了，重点还是要说一说备考经历以及一些经验总结。 我的备考经历 PMP的备考过程因人而异，决定报考PMP以后，每个人要根据自身情况安排时间和学习计划并按照计划有条不紊的进行，在学习的过程中要善于总结经验教训，及时调整计划，最终在考试之前达到学习目标，这样才能在最后考试的过程中拿到理想的成绩。 如前文所说，我今年3月份报名参与培训班，一般情况下PMP的备考时间在3个月左右，也就是要参加6月份的考试。由于当时事情比较多，我报了9月份考试的班。不过说来也巧，由于疫情原因今年3月份和6月份的考试最终都延期到9月26日举行，考试时间也是破例分为上午场和下午场。 在整个备考学习的过程中，大致分为如下几个阶段：

只要一家互联网公司的营收超过 5 个亿，那我可以确定的说，这家公司需要具备机器学习的能力。 为什么呢？ 因为大部分互联网公司的盈利模式基本都会围绕搜索、推荐和广告而去。 就比如极客时间，他的课程越来越多，如果能准确的给每位用户推荐合适的课程，那他们课程的转化率自然会提高。这就像美团外卖一样，把对你味口的餐馆推荐给你，你自然会买。 所以，前段时间有学弟还问我说，是不是机器学习行业已经达到饱和了，我就把上面的分析给他说了一遍。但是，我也清楚的知道，这个行业里一点都不缺初级的机器学习工程师，一点都不缺只会调包的算法工程师，因为这一点门槛都没有。你总不能说找不到好的工作，就说行业饱和了。难不成你到哪，哪的大环境都不好，感情你是环境破坏者？ 当然，我们也不可否认，现在已经过了人工智能的红利期，企业在招聘时，更为看重的是候选人的实干能力。就像我一个朋友说的，企业要找的是能干活的人。而这类人，又需要具备三个能力，分别是 编程实现、数学基本功以及是否有一套成熟的建模方法论。 这些能力对于一个机器学习工程师至关重要，但又要如何具备这些能力呢？如何成为一个能落地的实干型机器学习工程师呢？ 不卖关子， 我向你推荐我和极客时间合作的机器学习训练营，如果你想成为机器学习工程师，或者说想把机器学习当成一项提升自己竞争力的技能，那欢迎你的加入。 1 我是谁？ 我是王然，目前是众微科技 AI Lab 负责人

机器学习类型 机器学习模型评估步骤 深度学习数据准备 特征工程 过拟合 解决机器学习问题的一般性流程 机器学习四分支 二分类、多分类以及回归问题都属于监督学习－－目标是学习训练输入和对应标签之间的关系。 监督学习只是机器学习的冰山一角。机器学习主要分为４类:监督学习、非监督学习、半监督学习和强化学习。 监督学习 最常见的机器学习类型---学习输入数据和对应标签之间的映射关系。当下几乎所有的深度学习应用都属于监督学习类型，比如ocr识别，语音识别，图像分类和机器翻译等。 尽管监督学习主要由分类和回归组成，也包括一些其他变种： 生成序列---给定图片，生成一个概括性的标题。序列生成可以看做一系列分类问题； 语法树预测---将句子生成对应的句法树； 物体检测---给定图片，在图片中圈出物体所在的矩形框； 等等。 非监督学习 在没有对应标签的情况下，为了进行数据可视化、数据压缩、数据降噪或数据相关性分析对输入数据进行有趣的数据转换。数据降维和聚类是典型的非监督学习。 半监督学习 一种特殊的监督学习。半监督学习是没有手工标签的监督学习。但是学习过程中仍然有标签(还是监督学习)，但是标签是由启发性算法从输入数据中生成而来。 比如，自编码器就是常见的半监督学习。 强化学习 强化学习中，agent(代理)接收关于环境的信息，然后选择可以最大化reward的动作。比如：神经网络查看网络游戏的屏幕

一年一度最火热的国际人工智能顶会NeurIPS 2019于当地时间12月8日至14日在加拿大温哥华举办。作为人工智能和机器学习领域最顶级的盛会之一，每年都会吸引大量专家、学者和AI领域从业人员参与。 据悉，今年NeurIPS 2019论文投稿数量创造了新纪录，吸引了全球范围内共6743篇有效论文投递，而录取率只有21.17%。蚂蚁金服也有多篇论文入选，聚焦对抗生成网络GAN、图神经网络GNN、深度强化学习等课题。 在会上，蚂蚁金服与阿里巴巴共同举办了一场专家云集的主题workshop，蚂蚁金服研究员宋乐与楚巍分别带来了精彩演讲，分享了人工智能在蚂蚁金服业务的应用场景与实践。除了workshop，在本届NeurIPS展台上，支付宝展出的基于图像识别技术的智能垃圾分类小程序和智能回收箱视频也吸引了众多学者的关注，现场观众通过手机拍照即可轻松识别垃圾物品和对应的垃圾类别。 优秀论文解读之通用深度指数分布族研究 其中的一篇入选的优秀论文是 《使用对抗式动态系统嵌入的深度指数族分布估计》 ，内容涉及通用深度指数分布族的最大似然估计的求解，以及高效的利用其进行推断。 指数分布族 （exponential family），同时又被称为能量模型（energy-based model），是一类广泛应用的生成式概率模型。通过和深度模型结合，指数分布族能够灵活的拟合各种数据分布。由于指数分布族的灵活性

原文： Deep Learning’s Most Important Ideas[1] 作者 ：Denny Britz（ML 研究员，Google Brain 前成员） 译者：REN 深度学习是一个瞬息万变的领域，层出不穷的论文和新思路可能会令人不知所措。即使是经验丰富的研究人员，也很难准确将研究成果传达给公司的公关部门，继而传达给大众。 对于初学者来说，理解和实现这些技术有利于打下坚实的理论基础，是入门的最佳方法。 在深度学习领域，很多技术都可以跨域多个应用领域，包括计算机视觉，自然语言，语音识别和强化学习等等。在计算机视觉领域使用过深度学习的人，可能很快就能将类似的技术应用到自然语言研究中，即使特定的网络结构有所不同，但其概念，实现方法和代码基本一致。 必须强调的是，本文侧重于计算机视觉，自然语言，语音识别和强化学习领域，但不会详细解释每种深度学习技术，用寥寥数百字解释清楚一篇几十页的论文是不现实的。另外还有一些不容易重现的重要研究，比如 DeepMind 的 AlphaGo 或 OpenAI 的 OpenAI Five（Dota 2 模型），涉及到巨大的工程和运算挑战，因此也不是讨论的重点。 这篇文章的目的，是回顾在深度学习领域影响深远的成果，概述每种技术及其历史背景，尽量引导深度学习新人接触多个领域的基础技术。它们是这个领域最值得信赖的基石，每一个技术都经过了无数次的引用

　　　　在 强化学习(十七) 基于模型的强化学习与Dyna算法框架 中，我们讨论基于模型的强化学习方法的基本思路，以及集合基于模型与不基于模型的强化学习框架Dyna。本文我们讨论另一种非常流行的集合基于模型与不基于模型的强化学习方法：基于模拟的搜索(Simulation Based Search)。 　　　　本篇主要参考了UCL强化学习课程的第八讲，第九讲部分。 1. 基于模拟的搜索概述 　　　　什么是基于模拟的搜索呢？当然主要是两个点：一个是模拟，一个是搜索。模拟我们在上一篇也讨论过，就是基于强化学习模型进行采样，得到样本数据。但是这是数据不是基于和环境交互获得的真实数据，所以是“模拟”。对于搜索，则是为了利用模拟的样本结果来帮我们计算到底应该采用什么样的动作，以实现我们的长期受益最大化。 　　　　那么为什么要进行基于模拟的搜索呢？在这之前我们先看看最简单的前向搜索(forward search)。前向搜索算法从当前我们考虑的状态节点$S_t$开始考虑，怎么考虑呢？对该状态节点所有可能的动作进行扩展，建立一颗以$S_t$为根节点的搜索树，这个搜索树也是一个MDP，只是它是以当前状态为根节点，而不是以起始状态为根节点，所以也叫做sub-MDP。我们求解这个sub-MDP问题，然后得到$S_t$状态最应该采用的动作$A_t$。前向搜索的sub-MDP如下图： 　　　

1.大数据与机器学习的关系： 大数据领域我们做的是数据的存储和简单的统计计算，机器学习在大数据的应用是为了发现数据的规律或模型，用机器学习算法对数据进行计算的到的模型，从而决定我们的预测与决定的因素（比如在大数据用户画像项目里，生成的特殊用户字段）。 2.大数据在机器学习的应用 目前市场实际开发模式中，应该在大数据哪一个阶段层次应用到机器学习的相关技术呢，我们接下来来说明，首先目前大数据的架构模式列举如下几个 2.1数据采集（ftp、socket）---数据存储（hdfs）---数据清洗（MapReduce）----数据分析（hive）---sqoop导入-----存储（mysql、oracle）---web显示 2.2数据采集（ftp、socket）---数据存储（hdfs）---数据清洗（MapReduce）---列式数据库存储（hbase）-----thrift（协处理器）---web显示 2.3数据采集（ftp、socket）---数据存储（hdfs）---数据清洗（MapReduce）----数据分析（hive）----impala（实时数据分析）---jdbc-----web显示 2.4数据采集（ftp、socket）---数据存储（hdfs）---spark计算-----存储（mysql、oracle）---web显示 整体在开发完成后用分布式任务调度系统