极大似然估计、最大后验估计、贝叶斯估计的异同

偶尔善良 提交于 2020-02-04 06:28:14

本文主要是为了区分极大似然估计、最大后验估计、贝叶斯估计的异同。对三种方法的详细步骤不做阐述。

贝叶斯公式:分母的全概率公式是用来求P(B)
在这里插入图片描述
B为观测变量,A为待求参数。

极大似然估计:
极大似然估计认为A为一个常数,于是P(A)=1.
而且它只需求出最大值所在的点,因此求导为0即可。

解释一下
‘’‘
如抛硬币5正4负,设正面概率为p,则
F(p)=a * p^5 * (1-p)^4
式中p的阶数5和 1-p的阶数4均为观测的参数
a为与待求参数无关的部分(对求p的导无影响)
此时对p求导令其为0求取得极值的p即为我们要求的p。
’‘’
回到整体

最大后验估计:
认为参数A亦服从一分布,但是其求出来的参数也是为一个数字,只不过P(A)不为1变成了一个概率分布(先验概率)。其还是求最大值,因此还是求导为0即可,因为我们只需要求出导数为0(取得最值)的点,因此与所求参数无关的例如贝叶斯公式的分母P(B),我们完全可以忽略令其为一个常数即可。

贝叶斯估计:
贝叶斯估计也认为参数A服从一先验分布,但是求出的参数A不是一个具体的数字了,而是一个分布,因此此时我们不能用简单粗暴的直接求导求解,贝叶斯公式所有的部分我们均需要求解,因此之前极大似然/后验估计中我们忽略的P(B)就要纳入考虑。之前不考虑是因为我们只需要对参数求导为0。原先的式子变成了一个关于参数的函数例如F(A)。

此时贝叶斯公式:
在这里插入图片描述
分母的P(B)则可用全概率公式求解,如图所示表示的是离散的变量,连续的变量则用积分,原理一样。
P(A)还为先验的关于A的分布。P(B|A)为观测到样本的似然函数。
此时我们求参数A,没有求出来一个具体的数值,而是求出来了一个概率分布。

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!