极大似然估计

转自： https://blog.csdn.net/qq_39355550/article/details/81809467 原理： 极大似然估计是建立在极大似然原理的基础上的一个统计方法，提供了一种给定观察数据来 评估模型参数的方法 ，即： “模型已定，参数未知” 。通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大。 总结： 极大似然估计 利用已知的样本结果 ，反推最有可能（最大概率）导致这样结果的参数值。即MLE的目标是找出一组参数(模型中的参数)，使得模型产出观察数据的概率最大。 记已知的样本集为： 似然函数（linkehood function）：联合概率密度函数 称为相对于 的θ的似然函数。 如果 是参数空间中能使似然函数 最大的θ值，则 应该是“最可能”的参数值，那么 就是 θ的极大似然估计量 。它是样本集的函数： 极大似然估计量求解： 实际中为了便于分析，定义了对数似然函数： 1. 未知参数只有一个（θ为标量） 在似然函数满足连续、可微的正则条件下，极大似然估计量是下面微分方程的解： 2.未知参数有多个（θ为向量） 则θ可表示为具有S个分量的未知向量： 记梯度算子： 若似然函数满足连续可导的条件，则最大似然估计量就是如下方程的解。 方程的解只是一个估计值，只有在样本数趋于无限多的时候，它才会接近于真实值。 极大似然估计的例子 例1

要了解极大似然估计，首先需要了解什么是似然函数。 比如说似然函数： 其中，x表示一个具体的数据，θ表示模型参数。 如果θ是确定的，x是变量。则这个函数是概率函数，它描述对于不同样本点x，其出现的概率是多少。 如果x是已知的，θ是变量。这个函数叫做似然函数，它描述对于不同的模型参数，出现x这个样本点的概率是多少。 最大似然估计（MIE） 假设有一个造币厂，生产某种硬币，现在我们拿到一枚这样的硬币，如果这枚硬币不是均匀的，那么这枚硬币正反面出现的概率θ各是多少？ 于是我们拿这枚硬币抛了10次，得到的数据 是：反正正正正反正正正反。我们想求的正面概率 θ 是模型参数，而抛硬币模型我们可以假设是二项分布。 这时我们的实验结果是什么呢？ 注意，这是个只关于 θ θ 的函数。而最大似然估计，顾名思义，就是要最大化这个函数。我们可以画出 f ( θ ) f(θ) 的图像： 可以看出，在 θ = 0.7 ，似然函数取得最大值。 且慢，一些人可能会说，硬币一般都是均匀的啊！ 就算你做实验发现结果是“反正正正正反正正正反”，我也不信 θ=0.7 。 极大似然估计提供了一种给定观察数据来评估模型参数的方法，即“模型已定，参数未知” 例子二、 假如有一个罐子，里面有黑白两种颜色的球，数目多少不知，两种颜色的比例也不知。我 们想知道罐中白球和黑球的比例，但我们不能把罐中的球全部拿出来数

原文链接： 极大似然估计（MLE）学习总结 《每天解决一个知识点系列》 估计能翻到这一页博文的盆友都是行走在机器学习/数据挖掘的路上吧，自学之路真的苦不堪言，于是下定决心把自己学到的知识点记下来，和初入机器学习之坑的基友们一起显摆显摆。话不多说，我将从一个小白的角度解读一下我对极大似然估计的理解（我比较喜欢这样叫，但为了学习方便，我采取官方说法），各位看官请往下看。 -------------------------------我是羞羞的分割线------------------------------------- 我是比较喜欢概率论的东西，对于最大似然估计的概念大家可以通俗理解为用观察去猜测真实概率。比如给定一组观察得到的样本数据X，我们无法知晓这个随机变量（其实是某个事件发生的属性值，它有多重取值可能）真实的概率分布函数是怎样的。这时候我们希望通过收集到的样本数据去猜哪个参数会影响分布函数使得最终呈现出我们观察到的这些样本。 不过，我们聪明的统计学家已经为我们观察到了复杂世界存在的各种概率分布情况及其对应的计算公式，如“正态分布”、“二项分布”、“泊松分布”等。但细心的同学们一定会发现这些所谓的分布发生的概率是有规律的，有各自的计算公式，如假设随机事件X服从均值为 µ ，方差为 σ 2 的正态分布函数，那么事件X发生的概率如下： 式1-1 但我们是不知道如何参数 µ和

后验概率 后验概率是指在得到“结果”的信息后重新修正的概率。是“执果寻因”问题中的“果”，后验概率的计算要以先验概率为基础。 例如，后验概率 p ( y = 1 ∣ x ) p(y=1|x) p ( y = 1 ∣ x ) 的意思是：拿到 x x x 后， y = 1 y=1 y = 1 的概率（ x x x 分类为类别 1 1 1 的概率） 极大似然估计 极大似然估计是求估计的一种方法。 求解步骤： 写出似然函数 对似然函数取对数，并整理 求导数 解似然方程 来源： CSDN 作者： 刘阳不吃饭 链接： https://blog.csdn.net/iiiliuyang/article/details/104444443

from https://zhuanlan.zhihu.com/p/24709748 极大似然 https://blog.csdn.net/zengxiantao1994/article/details/72787849 https://zhuanlan.zhihu.com/p/26614750 矩阵求导 注1： 注2： 例子2 极大似然估计 知识： https://blog.csdn.net/zengxiantao1994/article/details/72787849 https://zhuanlan.zhihu.com/p/26614750 贝叶斯公式 随机变量θ表示模型的参数 如果 是已知确定的， 是变量，这个函数叫做概率函数(probability function)，它描述对于不同的样本点 ，其出现概率是多少。 如果 是已知确定的， 是变量，这个函数叫做似然函数(likelihood function), 它描述对于不同的模型参数，出现 这个样本点的概率是多少。 未完.... 来源： https://www.cnblogs.com/shish/p/12296538.html

本文主要是为了区分极大似然估计、最大后验估计、贝叶斯估计的异同。对三种方法的详细步骤不做阐述。 贝叶斯公式：分母的全概率公式是用来求P（B） B为观测变量，A为待求参数。 极大似然估计： 极大似然估计认为A为一个常数，于是P（A）=1. 而且它只需求出最大值所在的点，因此求导为0即可。 解释一下 ‘’‘ 如抛硬币5正4负，设正面概率为p，则 F（p）=a * p^5 * (1-p)^4 式中p的阶数5和 1-p的阶数4均为观测的参数 a为与待求参数无关的部分（对求p的导无影响） 此时对p求导令其为0求取得极值的p即为我们要求的p。 ’‘’ 回到整体 最大后验估计： 认为参数A亦服从一分布，但是其求出来的参数也是为一个数字，只不过P（A）不为1变成了一个概率分布（先验概率）。其还是求最大值，因此还是求导为0即可，因为我们只需要求出导数为0（取得最值）的点，因此与所求参数无关的例如贝叶斯公式的分母P（B），我们完全可以忽略令其为一个常数即可。 贝叶斯估计： 贝叶斯估计也认为参数A服从一先验分布，但是求出的参数A不是一个具体的数字了，而是一个分布，因此此时我们不能用简单粗暴的直接求导求解，贝叶斯公式所有的部分我们均需要求解，因此之前极大似然/后验估计中我们忽略的P（B）就要纳入考虑。之前不考虑是因为我们只需要对参数求导为0。原先的式子变成了一个关于参数的函数例如F（A）。 此时贝叶斯公式

1. 什么是极大似然估计   在日常生活中，我们很容易无意中就使用到极大似然估计的思想，只是我们并不知道极大似然估计在数学中的如何确定以及推导的。下面我们使用两个例子让大家大概了解一下什么是 极大似然估计 ： （1）猎人师傅和徒弟一同去打猎，遇到一只兔子，师傅和徒弟同时放枪，兔子被击中一枪，那么是师傅打中的，还是徒弟打中的？ （2）一个袋子中总共有黑白两种颜色100个球，其中一种颜色90个，随机取出一个球，发现是黑球。那么是黑色球90个？还是白色球90个？   对于第（1）个问题，由于师傅的技术一般比徒弟高，因此我们会猜测兔子是师傅打中的。对于第（2）个问题，对于颜色有90个的球，我们抽中它的概率更大，因此当抽中为黑色球时，我们便会认为90个的是黑色球。   对于以上两个例子可以看出，我们在进行猜测时，往往认为： 概率最大的事件，最可能发生 ， 因此在一次试验中就出现的事件应当具有较大的概率。 2. 极大似然原理及数学表示    极大似然原理 是指：若一次试验有 $ n $ 个可能结果 $ A_1, A_2,...,A_n $ ，现在我们做一次试验，试验的结果为 $ A_i $ ，那么我们就可以认为事件 $ A_i $ 在这个 $ n $ 个可能结果中出现的概率最大。    极大似然估计 是指：在一次抽样中，样本出现的概率是关于参数 $ \theta $ 的函数，若在一些试验中

它是建立在极大似然原理的基础上的一个 统计方法 ，极大似然原理的直观想法是，一个随机试验如有若干个可能的结果A，B，C，... ，若在一次试验中，结果A出现了，那么可以认为实验条件对A的出现有利，也即出现的概率P(A)较大。极大似然原理的直观想法我们用下面例子说明。设甲箱中有99个白球，1个黑球；乙箱中有1个白球．99个黑球。现随机取出一箱，再从抽取的一箱中随机取出一球，结果是黑球，这一黑球从乙箱抽取的概率比从甲箱抽取的概率大得多，这时我们自然更多地相信这个黑球是取自乙箱的。一般说来，事件A发生的概率与某一未知参数 有关， 取值不同，则事件A发生的概率 也不同，当我们在一次试验中事件A发生了，则认为此时的 值应是t的一切可能取值中使 达到最大的那一个，极大似然估计法就是要选取这样的t值作为参数t的估计值，使所选取的样本在被选的总体中出现的可能性为最大。 极大似然估计，只是一种概率论在统计学的应用，它是参数估计的方法之一。说的是已知某个随机样本满足某种 概率分布 ，但是其中具体的参数不清楚， 参数估计 就是通过若干次试验，观察其结果，利用结果推出参数的大概值。极大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值。 当然极大似然估计只是一种粗略的 数学期望 ，要知道它的误差大小还要做区间估计

在GAN中，对于判别器D来说，实际上就是一个普通的二分类问题。 根据文章《交叉熵，KL散度以及多分类问题下的极大似然估计》当中的思考，对于二分类问题的极大似然估计，有如下式子成立： L ( X , Y , θ ) = ∫ x ∫ y p ( x , y ) log q ( y | x ) d y d x = ∫ p ( x ) [ p ( y i = 1 | x i ) log q ( y i = 1 | x i ) + p ( y i = 0 | x i ) log q ( y i = 0 | x i ) ] d x //--> 那么，将上式的最后一步重新写成联合概率的形式，有 L ( X , Y , θ ) = ∫ [ p ( x , y = 1 ) log q ( y = 1 | x ) + p ( x , y = 0 ) log q ( y = 0 | x ) ] d x = ∫ [ p ( x , y = 1 ) log q ( y = 1 | x ) + p ( x , y = 0 ) log q ( y = 0 | x ) ] d x //--> 对应到GAN中来，D分类器要做的就是给定一个x，需要判断这个样本x是属于real data还是generated data，如果我们把属于real data当作y=1，generated data当作y=0，那么便有 L (

极大似然估计的原理，先用一张图片来说明 总结起来，极大似然估计的目的：就是利用已知的样本结果，反推最有可能(最大概率）导致这样结果的参数值。 通过若干次试验，观察其结果，利用试验结果的某个参数值能够使样本出现的概率最大，称为极大似然估计。 由于样本集中的样本都是独立同分布，可以只考虑一类样本集D，来估计参数向量θ，记已知样本集为: 似然函数(linkehood function):联合概率密度函数p(D|θ）称为相对于样本集D={x1，x2,x3,...,xn} 的θ的似然函数 若 使参数空间中，能使似然函数 最大的θ值，那 应该使最可能值， 就是θ的极大似然估计量，它是样本集函数 记作： 　　　　　　　　　　　　 求解极大似然函数 ML估计：求使得改组样本的概率最大的θ值 　　　　　　　　　　 连乘不便于分析，故定义了对数似然函数： 1.未知参数只有一个时(θ为标量),似然函数满足连续可微，极大似然估计量是下面微分方程的解 　　　　　　　　 2.未知参数有多个(θ为向量) 　　　　　　　　　　　　　　　　 记梯度算子: 　　　　　　　　　　　　 似然函数满足连续可导，最大似然估计量就是如下方程的解。　　 　　　　　　　　 总结 求解极大似然估计量步骤： 1.写出似然函数 2.对似然函数取对数，整理 3.求导数 4.解似然方程 最大似然估计特点： 1.比其他估计方法简单 2.收敛性