极大似然估计

家住魔仙堡 提交于 2019-12-01 12:06:51

极大似然估计的原理,先用一张图片来说明

 

 

总结起来,极大似然估计的目的:就是利用已知的样本结果,反推最有可能(最大概率)导致这样结果的参数值。

通过若干次试验,观察其结果,利用试验结果的某个参数值能够使样本出现的概率最大,称为极大似然估计。

由于样本集中的样本都是独立同分布,可以只考虑一类样本集D,来估计参数向量θ,记已知样本集为:

似然函数(linkehood function):联合概率密度函数p(D|θ)称为相对于样本集D={x1,x2,x3,...,xn} 的θ的似然函数

 

 

 若使参数空间中,能使似然函数最大的θ值,那应该使最可能值,就是θ的极大似然估计量,它是样本集函数

记作:

            

 

求解极大似然函数

 ML估计:求使得改组样本的概率最大的θ值

          

 

连乘不便于分析,故定义了对数似然函数:

 

 

 1.未知参数只有一个时(θ为标量),似然函数满足连续可微,极大似然估计量是下面微分方程的解

        

 

 2.未知参数有多个(θ为向量)

                

记梯度算子:

            

 

似然函数满足连续可导,最大似然估计量就是如下方程的解。  

          

总结

求解极大似然估计量步骤:

1.写出似然函数

2.对似然函数取对数,整理

3.求导数

4.解似然方程

最大似然估计特点:

1.比其他估计方法简单

2.收敛性,样本数量增加时,收敛性质更好

3.如果假设的类条件概率模型正确,通常能获得比较好的结果,但如果模型假设有偏差,导致非常差的结果。

 

 

 

 

 

 

 

 

 

 

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!