关于EM算法

这一生的挚爱 提交于 2020-03-10 23:45:06

EM算法的简介

1.什么是EM算法

最大期望算法(Expectation-maximization algorithm,又译为期望最大化算法),是在概率模型中寻找参数最大似然估计或者最大后验估计的算法,其中概率模型依赖于无法观测的隐性变量。
最大期望算法经过两个步骤交替进行计算,
第一步是计算期望(E),利用对隐藏变量的现有估计值,计算其最大似然估计值;
第二步是最大化(M),最大化在E步上求得的最大似然值来计算参数的值。M步上找到的参数估计值被用于下一个E步计算中,这个过程不断交替进行。

2.举例

比如说抛硬币的例子,如果说有两个硬币A和B,每次抛之前知道是A还是B,那么,可能的结果会如下图所示:
在知道每次硬币种类的前提下,所得到的结果
但,如果要是在抛硬币之前,不知道硬币的种类,那么情况就会变得更复杂了,在不知道硬币的前提下,那么硬币的种类就成了一个隐形的变量,具体如下图:不知道硬币种类的前提下的结果
在这种情况下,我们可以如上图所示,这样来解决这个问题,既然在丢硬币之前不知道硬币到底是A还是B,那么我们可以事先先假定一个这样的隐形变量为z,然后设定初始A硬币出现正面的概率p(A)为0.6,硬币出现正面的概率p(B)为0.5,那么就可以按照上图,根据抽样几次的结果,用极大似然估计出每一次Z的值,即具体是A还是B,然后再反过来算p(A)和p(B),最后更新,以此循环,直到收敛即可求得最后的概率。

3.基本的公式推导

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!