似然函数

似然，似然，似是而然！ 1.1 似然是蛤？ 在统计学中，似然和概率可是两码事。  概率：在已知的模型下，某事件发生的可能性。  似然：在未知的模型下，发生了一系列的事件，有这些事件的结果去估计该未知模型的相关参数（条件）。  举一个小例子可能会更形象。现在我有一枚标准的硬币，我将它抛在了空中，这时我想知道它落地时是正面朝上的可能性是多少？毫无疑问，因为该硬币是标准的，正面和反面朝上的概率是~~ 五五开~~（卢老爷警告）50%。而似然就是，现在我拿到的硬币可能不在是标准的，有可能正面比反面重也有可能是相反的情况，我将这个硬币抛了一千次，发现有700次是正面朝上，300次是反面朝上。那么我可以估计这枚硬币不是标准的硬币，这枚非标准的硬币的随意一抛正面朝上的概率（参数）估计为0.7(标准硬币 的参数为0.5)。 总的来说：概率就是在已知模型下，对可能发生的救国进行描述。似然就是通过已经得到的结果发生该结果的模型进行描述。 1.2 似然函数又是蛤？   概率密度函数： P ( x ∣ θ ) P ( x|\theta ) P ( x ∣ θ )  似然函数: L ( θ ∣ x ) L ( \theta | x ) L ( θ ∣ x )   在x和 θ \theta θ 相互对应时，两个函数的数值是相等。但两个函数所表示的含义是完全不同的。似然函数是给定参数的情况下

目录： 1、什么是线性回归 　　1.1 理论模型 　　1.2 数据和估计 2、线性回归参数求解方法 　　2.1 直接求取参数 　　2.2 梯度下降法 　　2.3 随机梯度下降法 3、为什么选择最小二乘为评判标准 　　3.1 似然函数 　　3.2 求解极大似然函数 　　3.3 结论 1、什么是线性回归 　　线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归,大于一个自变量情况的叫做多元回归。 1.1 理论模型 　　给一个随机样本 ，一个线性回归模型假设回归子 和回归量 之间的关系是除了X的影响以外，还有其他的变量存在。我们加入一个误差项 （也是一个随机变量）来捕获除了 之外任何对 的影响。所以一个多变量线性回归模型表示为以下的形式： 其他的模型可能被认定成非线性模型。一个线性回归模型不需要是自变量的线性函数。线性在这里表示 的条件均值在参数 里是线性的。例如：模型 在 和 里是线性的，但在 里是非线性的，它是 的非线性函数。 1.2 数据和估计 　　用矩阵表示多变量线性回归模型为下式： 　　其中 Y 是一个包括了观测值 的列向量， 包括了未观测的随机成份 以及回归量的观测值矩阵： 2、线性回归参数求解方法 　　

这里写自定义目录标题 概率和统计是一个东西吗？ 概率函数与似然函数 最大似然估计（MLE） 最大后验概率估计 最大后验估计的例子 贝叶斯派观点 VS 频率派观点 贝叶斯定理 朴素贝叶斯分类器 朴素贝叶斯分类器实例 贝叶斯网络 贝叶斯网络的结构形式 因子图 从贝叶斯网络来观察朴素贝叶斯 概率和统计是一个东西吗？ 概率（probabilty）和统计（statistics）看似两个相近的概念，其实研究的问题刚好相反。 概率研究的问题是，已知一个模型和参数，怎么去预测这个模型产生的结果的特性（例如均值，方差，协方差等等）。 举个例子，我想研究怎么养猪（模型是猪），我选好了想养的品种、喂养方式、猪棚的设计等等（选择参数），我想知道我养出来的猪大概能有多肥，肉质怎么样（预测结果）。 统计是，有一堆数据，要利用这堆数据去预测模型和参数。 仍以猪为例。现在我买到了一堆肉，通过观察和判断，我确定这是猪肉（这就确定了模型。在实际研究中，也是通过观察数据推测模型是／像高斯分布的、指数分布的、拉普拉斯分布的等等），然后，可以进一步研究，判定这猪的品种、这是圈养猪还是跑山猪还是网易猪，等等（推测模型参数）。 一句话总结： 概率是已知模型和参数，推数据。统计是已知数据，推模型和参数。 显然， 本文解释的MLE(最大似然估计)和MAP（最大后验估计）都是统计领域的问题。它们都是用来推测参数的方法(不是推测模型

1. 什么是极大似然估计   在日常生活中，我们很容易无意中就使用到极大似然估计的思想，只是我们并不知道极大似然估计在数学中的如何确定以及推导的。下面我们使用两个例子让大家大概了解一下什么是 极大似然估计 ： （1）猎人师傅和徒弟一同去打猎，遇到一只兔子，师傅和徒弟同时放枪，兔子被击中一枪，那么是师傅打中的，还是徒弟打中的？ （2）一个袋子中总共有黑白两种颜色100个球，其中一种颜色90个，随机取出一个球，发现是黑球。那么是黑色球90个？还是白色球90个？   对于第（1）个问题，由于师傅的技术一般比徒弟高，因此我们会猜测兔子是师傅打中的。对于第（2）个问题，对于颜色有90个的球，我们抽中它的概率更大，因此当抽中为黑色球时，我们便会认为90个的是黑色球。   对于以上两个例子可以看出，我们在进行猜测时，往往认为： 概率最大的事件，最可能发生 ， 因此在一次试验中就出现的事件应当具有较大的概率。 2. 极大似然原理及数学表示    极大似然原理 是指：若一次试验有 $ n $ 个可能结果 $ A_1, A_2,...,A_n $ ，现在我们做一次试验，试验的结果为 $ A_i $ ，那么我们就可以认为事件 $ A_i $ 在这个 $ n $ 个可能结果中出现的概率最大。    极大似然估计 是指：在一次抽样中，样本出现的概率是关于参数 $ \theta $ 的函数，若在一些试验中

转：https://guangchun.wordpress.com/2011/10/13/ml-bayes-map/ 中国有句话叫“ 马后炮 ”， 大体上用在中国象棋和讽刺人两个地方，第一个很厉害，使对方将帅不得动弹，但这个跟我们今天说的基本没关系；第二个用途源于第一个，说事情都发生了再采取 措施，太迟了。但不可否认，我们的认知就是从错误中不断进步，虽然已经做错的不可能变得正确，但“来者尤可追”，我们可以根据既往的经验（数据），来判断 以后应该采取什么样的措施。这其实就是有监督机器学习的过程。其中涉及的一个问题就是模型中参数的估计。 为什么会有参数估计呢？这要源于我们对所研究问题的简化和假设。我们在看待一个问题的时候，经常会使用一些我们所熟知的经典的模型去简化问题，就像 我们看一个房子，我们想到是不是可以把它看成是方形一样。如果我们已经知道这个房子是三间平房，那么大体上我们就可以用长方体去描述它的轮廓。这个画房子 的问题就从无数的可能性中，基于方圆多少里大家都住平房的 经验 ，我们可以 假设 它是长方体，剩下的问题就是确定长宽高这三个 参数 了，问题被简化了。再如学生考试的成绩，根据既往的经验，我们可以假设学生的成绩是正态分布的，那么剩下的问题就是确定分布的期望和方差。所以， 之所以要估计参数，是因为我们希望用较少的参数去描述数据的总体分布

似然函数 　　 似然函数 与概率非常类似但又有根本的区别，概率为在某种条件（参数）下预测某事件发生的可能性；而似然函数与之相反为已知该事件的情况下 推测出该事件发生时的条件（参数） ；所以似然估计也称为参数估计，为参数估计中的一种算法； 下面先求抛硬币的似然函数，然后再使用似然函数算出线性回归的参数； 　　假如有一枚硬币我们现在不知道它是否为正常硬币（正反面出现概率各位50%），所以想通过抛10次然后通过硬币正反面出现的概率分布判断该硬币是否正常；当抛完10次时出现5次正面向上、5次反面向上，正反面出现的概率符合正常硬币的预期，这时我们可以判断该硬币是正常的； 　　抛硬币符合二项分布所以下面计算出概率分布情况： 　　 　　如图： 　　　　 　　　　上图中x轴为正面出现的次数，y轴为上述函数的结果 　　上面式子中w为正反面出现的比例，y为正面出现的次数； 使用最大似然法求硬币问题 　　似然函数为知道了结果求条件，概率问题为知道了条件求概率，在这个问题中就是知道了硬币是正常的，求正反面出现的比例w为何值时该结果最靠谱；所以似然函数等于： 　　　　 　　函数左边的值并非条件概率中的条件而是该函数的依赖值，似然函数L为在给定结果y的情况下参数w的取值情况，概率函数L为知道了参数w求得y的取值；有了抛硬币情况的概率分布这里就可以给出 似然函数 ： 　　 　

逻辑回归模型 - zgw21cn - 博客园 逻辑回归模型 1. 逻辑 回 归 模型 1.1逻辑回归模型 考虑具有p个独立变量的向量 ,设条件概率 为根据观测量相对于某事件发生的概率。逻辑回归模型可表示为 （1.1） 上式右侧形式的函数称为称为逻辑函数。下图给出其函数图象形式。 其中 。如果含有名义变量，则将其变为dummy变量。一个具有k个取值的名义变量，将变为k-1个dummy变量。这样，有 （1.2） 定义不发生事件的条件概率为 （1.3） 那么，事件发生与事件不发生的概率之比为 （1.4） 这个比值称为事件的发生比(the odds of experiencing an event),简称为odds。因为0<p<1,故odds>0。对odds取对数，即得到线性函数， （1.5） 1.2极大似然函数 假设有n个观测样本，观测值分别为 设 为给定条件下得到 的概率。在同样条件下得到 的条件概率为 。于是，得到一个观测值的概率为 （1.6） 因为各项观测独立，所以它们的联合分布可以表示为各边际分布的乘积。 （1.7） 上式称为n个观测的似然函数。我们的目标是能够求出使这一似然函数的值最大的参数估计。于是，最大似然估计的关键就是求出参数 ，使上式取得最大值。 对上述函数求对数 （1.8） 上式称为对数似然函数。为了估计能使 取得最大的参数 的值。 对此函数求导，得到p+1个似然方程

概率和统计是同一个东西吗？ 概率：已知模型和参数，求数据 统计：已知数据，求模型和参数 贝叶斯公式在说什么？ 公式里括号后面一项才是 条件概率： 贝叶斯公式： 贝叶斯公式： 理解：有多重情况可能导致事件B发生，现在事件B已经发生了，要求出由于事件A导致事件B发生的可能性大小。 似然函数 概率：在参数theta时 变量x发生的概率有多大 似然：变量x已经发生了，参数等于theta时的似然是多少 一个是关于x的函数、一个是关于theta的函数 常说的概率是指给定参数后，预测即将发生的事件的可能性。 而似然概率正好与这个过程相反，我们关注的量不再是事件的发生概率，而是已知发生了某些事件，我们希望知道参数应该是多少。 最大似然估计，就是在已知观测的数据的前提下，找到使得似然概率最大的参数值。 先验概率后验概率 1）先验：统计历史上的经验而知当下发生的概率； 2）后验：当下条件由因及果的概率； 例子： 1）先验——根据若干年的统计（经验）或者气候（常识），某地方下雨的概率； 2）似然——下雨（果）的时候有乌云（因/证据/观察的数据）的概率，即已经有了果，对证据发生的可能性描述； 3）后验——根据天上有乌云（原因或者证据/观察数据），下雨（结果）的概率； 最大似然估计与最大后验概率估计 最大似然估计：最大化关于theta的函数 最大后验概率估计： 参考：

之前看书上的一直不理解到底什么是似然，最后还是查了好几篇文章后才明白，现在我来总结一下吧，要想看懂最大似然估计，首先我们要理解什么是似然，不然对我来说不理解似然，我就一直在困惑最大似然估计到底要求的是个什么东西，而那个未知数θ到底是个什么东西TT 原博主写的太好了，这里 我就全盘奉上~ 似然与概率 在统计学中，似然函数（likelihood function，通常简写为likelihood，似然）是一个非常重要的内容，在非正式场合似然和概率（Probability）几乎是一对同义词，但是在统计学中似然和概率却是两个不同的概念。概率是在特定环境下某件事情发生的可能性，也就是结果没有产生之前依据环境所对应的参数来预测某件事情发生的可能性，比如抛硬币，抛之前我们不知道最后是哪一面朝上，但是根据硬币的性质我们可以推测任何一面朝上的可能性均为50%，这个概率只有在抛硬币之前才是有意义的，抛完硬币后的结果便是确定的；而似然刚好相反，是在确定的结果下去推测产生这个结果的可能环境（参数），还是抛硬币的例子，假设我们随机抛掷一枚硬币1,000次，结果500次人头朝上，500次数字朝上（实际情况一般不会这么理想，这里只是举个例子），我们很容易判断这是一枚标准的硬币，两面朝上的概率均为50%，这个过程就是我们根据结果来判断这个事情本身的性质（参数），也就是似然。 结果和参数相互对应的时候

在英语语境里，likelihood 和 probability 的日常使用是可以互换的，都表示对机会 (chance) 的同义替代。但在数学中，probability 这一指代是有严格的定义的，即符合柯尔莫果洛夫公理 (Kolmogorov axioms) 的一种数学对象（换句话说，不是所有的可以用0到1之间的数所表示的对象都能称为概率）。而 likelihood (function) 这一概念是由Fisher提出，他采用这个词，也是为了凸显他所要表述的数学对象既和 probability 有千丝万缕的联系，但又不完全一样的这一感觉。 中文把它们一个翻译为概率（probability），一个翻译为似然（likelihood）也是独具匠心。 似然函数的定义： 上式中，小 x 指的是联合样本随机变量 X 取到的值，即 X = x ；这里的 θ 是指未知参数，它属于参数空间；而 是一个密度函数，特别地，它表示(给定) θ 下关于联合样本值 x 的联合密度函数。 从定义上，似然函数和密度函数是完全不同的两个数学对象：前者是关于 θ 的函数，后者是关于 x 的函数。所以这里的等号= 理解为函数值形式的相等，而不是两个函数本身是同一函数（根据函数相等的定义，函数相等当且仅当定义域相等并且对应关系相等）。 两者的联系： 如果X是离散随机变量，那么其概率密度函数 可改写为： 即代表了在参数为 θ