bayesian

最近太忙一直没更新，也没空写的特别细，就把Hotchips今年比较有意思的先一股脑儿放上来，我想到哪里写到哪里。 Marvell: ARM based server Marvell这个应该做了很久了，现在其他公司也不搞了，不清楚会走多远。之前我是不太看好这类东西的，但是苹果都开始做M1了，搞不好这个路子真的有未来。 也没什么特别的心意，除了发现，诶，居然还在做，牛啊。 平头哥的玄铁910 之前也有人介绍过了，我就先放个链接 如何看待阿里巴巴旗下 「平头哥」发布首枚芯片 ：玄铁 910？ ​ www.zhihu.com 这么宽的vector instruction功耗没问题么，如果是为了AI不应该扔给另外一个专门做AI小东西做么。 总的感觉不是特别明确具体应用场景是啥，好像也买不到，但是看着还挺有意思的。要是能说出更具体的应用场景，然后在这个场景下如何吊打别人，可能更有利于大家理解吧。 哈佛大学的Baysian Inference Accelerator 哈佛大学做这些的感觉路子一直很野啊。 实现上这个PGMA是优化的实现，一个大的cache加上一堆Gibbs Sampler。忘记Gibbs sampling是干啥的，这里复习 http://www.mit.edu/~ilkery/papers/GibbsSampling.pdf ​ www.mit.edu

1 优美的高斯分布 [P29]图1.16很好的描绘了这样表达的优美之处： 2 极大似然估计的病态拟合 3 参数-Regularizer 4 先验分布：高斯分布 高斯分布应该算是我们认知中，描绘一切连续型数值不确定性的最基本、最硬派的先验知识了。 甭管你是什么妖魔鬼怪，只要你是连续的，不是离散的，先给你套个高斯分布的罪状。 当然，钦定高斯分布从数学角度是由原因的，和其优美的数学共轭形式有关。 [P98]的练习证明了，高斯似然分布 x 高斯先验分布，结果仍然是一个高斯分布。 (此证明需要熟读第二章关于高斯分布的 150 个公式，需要很好的概率论、线代基础。) 高斯分布在数学形式上有许多便利，比如下面提到的零均值简化版高斯分布，这为贝叶斯方法招来很多 恶评，[P23] 是这样解释的：贝叶斯方法广受批判的原因之一，是因为其在选取先验概率分布上，根据的是 数学形式的便利为基础而不是 先验分布的信度 。 贝叶斯方法讲究推导严谨，公式齐全，对于那些奇怪的、无法用数学语言表达原理的、广布自然界的先验知识， 如Deep Learning思想，自然不会考虑，这也是为什么有人会认为Deep Learning与Bayesian是对着干的。[Quroa] 5 波动性惩罚：简化高斯分布 6 稀疏性惩罚：L1 Regularizer I、大脑中有1000亿以上的神经元，但是同时只有1%~4%激活

加入AI行业拿到高薪仅仅是职业生涯的开始。 现阶段AI人才结构在不断升级，这也意味着如果目前仍然停留在调用一些函数库，则在未来1-2年内很大概率上会失去核心竞争力的 。 几年前如果熟练使用TensorFlow，同时掌握基本的AI算法就可以很容易找到一份高薪的工作，但现在不一样了，AI岗位的要求越来越高，对知识的深度也提出了更高的要求。 如果现在一个 面试官 让你从零推导SVM的Dual、从零实现CRF、推导LDA、设计一个QP问题、从零编写XLNet、编写GCN/GNN、改造SkipGram模型、用一天时间复现一篇顶级会议.... 这些要求一点都不过分。相反，连这些基本内容都有些吃力，就需要重新审视一下自己的核心技术壁垒了。 目前AI人才竞争越来越激烈， “调参侠” 的时代已慢慢过去，这些事情其实根本不需要AI工程师来做，未来的研发工程师就可以承担这些了！ 我相信不少人曾经遇到过以下的情况或者困惑： 从事AI行业多年，但技术上 总感觉不够深入 ， 而且很难再有提升； 对每个技术点了解，但 不具备体系化的认知 ， 无法把它们串起来； 停留在使用模型/工具上 ， 很难基于业务场景来提出新的模型； 对于机器学习 背后的优化理论、前沿的技术不够深入； 计划从事尖端的科研、研究工作、 申请AI领域研究生、博士生； 打算进入最顶尖的AI公司 比如Google，Facebook，Amazon，

点击上方蓝字 记得关注我们哦！ ▼ 往期精彩回顾 ▼ 简单线性回归（一） 简单线性回归（二） 非线性回归 多重线性回归分析 二元logistic回归分析 Cox回归分析 有序多分类logistic回归分析 何为回归分析 回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。例如，司机的鲁莽驾驶与道路交通事故数量之间的关系，最好的研究方法就是回归。 回归分析是建模和分析数据的重要工具。在这里，我们使用曲线/线来拟合这些数据点，在这种方式下，从曲线或线到数据点的距离差异最小。我会在接下来的部分详细解释这一点。 为什么用回归分析 如上所述，回归分析估计了两个或多个变量之间的关系。下面，让我们举一个简单的例子来理解它： 比如说，在当前的经济条件下，你要估计一家公司的销售额增长情况。现在，你有公司最新的数据，这些数据显示出销售额增长大约是经济增长的2.5倍。那么使用回归分析，我们就可以根据当前和过去的信息来预测未来公司的销售情况。 使用回归分析的好处良多。具体如下： 它表明自变量和因变量之间的显著关系； 它表明多个自变量对一个因变量的影响强度。 回归分析也允许我们去比较那些衡量不同尺度的变量之间的相互影响，如价格变动与促销活动数量之间联系。这些有利于帮助市场研究人员

读书笔记: 博弈论导论 - 17 - 不完整信息的动态博弈 建立信誉 建立信誉(Building a Reputation) 本文是Game Theory An Introduction (by Steven Tadelis) 的学习笔记。 为什么我们要建立良好的信誉？为什么我们更愿意和有信誉的人交往？ 本章从囚徒困境这个问题，证明了即使在2阶段的囚徒困境中，如果一方有可能选择合作（也就是沉默），另一个方在第一阶段也有可能选择合作。 让我们回忆一下囚徒困境。 囚徒困境的均衡是双方都告密。 在有限多阶段的囚徒困境中的均衡仍然是双方都告密。 在无限多阶段的囚徒困境中的均衡是双方合作沉默。 本章给出了一个囚徒困境的例子，在这个例子中，存在一个不完整信息，就是玩家1有两种类型： 标准策略类型; 2) grim-trigger 策略类型。 这个grim-trigger 策略是：在第一个阶段博弈中，选择合作(C)，在一个t > 1阶段中，选择合作(C)仅仅当玩家2在上一个阶段中选择合作(c)。 $p > 0$为自然选择玩家1是grim-trigger 策略类型的可能性。 Player 2 c d player 1 C 1, 1 -1, 2 D 2, -1 0, 0 玩家2使用标准策略，因此在第2阶段会选择叛变(defect)。 但是在第1阶段中选择合作和叛变，其收益分别为: $$ \text

读书笔记: 博弈论导论 - 总结 总结 本文是Game Theory An Introduction (by Steven Tadelis) 的学习笔记的总结。 博弈论 博弈论是关于智能理性决策者的协作和冲突的数学模型的研究。 博弈论的目的可以说是研究寻找博弈均衡的方法。 博弈论的直接目标不是找到一个玩家的最佳策略，而是找到所有玩家的最理性策略组合。 我们称 最理性策略组合 为 均衡 。 博弈论（也叫逆向博弈论）的另外一个作用是机制设计，根据期望的结果，设计一个博弈体系。 博弈论的分类 这本书中将博弈论的只是分为四类： 完整信息的静态博弈 完整信息的动态博弈 不完整信息的静态博弈 不完整信息的动态博弈 博弈论的数学模型 普通形式博弈(normal-form game)的数学表达 一个有限的玩家集合, $N = {1, 2, \cdots, n}$ 每个玩家的纯策略集合的组合, ${S_1, S_2, \cdots, S_n}$ 一套收益函数, ${v_1, v_2, \cdots, v_n}$，对于每个玩家，每一种所有玩家选择的策略组合，都有一个收益值。 $v_i: S_1 \times S_2 \times \cdots \times S_n \text{ for each } i \in N $ 贝叶斯博弈(Bayesian Game) 用于描述不完整信息博弈。 $$