对数似然目标

$\hat \theta = \argmax _\theta \left [ \sum_{i=1}^I log \left [\int P(x_i, h_i|\theta)dh_i \right] \right ]$
其中 $\{ x_i\}_{i=1}^I$ 是训练数据， $h$ 是隐变量。

定义下界

上式不好直接求，定义下界函数
$\begin{aligned} \mathcal B [\{q_i(h_i)\}, \theta ] &= \sum_{i=1}^I \int q_i(h_i) \log \left[ \frac{P(x_i, h_i | \theta)}{q_i(h_i)} \right] dh_i \\ & \leq \sum_{i=1}^I log \left [\int P(x_i, h_i|\theta)dh_i \right] \end{aligned}$

优化过程

不断优化 $\mathcal B$ ，即优化了目标函数的下界。优化方法为

E步（期望步）：更新概率分布 $\{ q_i(h_i)\}_{i=1}^I$ 来最大地提高下界。
在第 $t+1$ 步，选择
$\hat q_i (h_i) = P(h_i| x_i, \theta ^{[t]}) = \frac{P(x_i|h_i, \theta ^{[t]}P(h_i|\theta ^{[t]})}{P(x_i)}$
该式是最大化的正确性可由Jensen不等式保证。
M步（最大化步）：更新参数 $\theta$ 来提高下界。注意到 $\hat q_i(h_i)$ 与 $\theta$ 无关，所以只需最大化下式
$\begin{aligned} \hat \theta^{[t+1]} &= \argmax _\theta \sum_{i=1}^I \int \hat q_i(h_i) \log \left[ P(x_i, h_i|\theta) \right] dh_i \\ &= \argmax _\theta \sum_{i=1}^I \left [ \mathbb E_{ h \sim \hat q_i(h_i)} \left[ \log (P(x_i| h_i, \theta))\right] + \mathbb E_{ h \sim \hat q_i(h_i)} \left[ \log (P(h_i))\right] \right ] \end{aligned} \tag{1}$

例子解释

混合高斯模型

在混合高斯模型当中， $E$ 步就是对每个点赋类别概率， $M$ 步就是更新参数 $\{ \mu, \Sigma, \lambda\}$ 。
如果不用EM算法，直接优化 $\sum_{i=1}^I \log [P(x_i|\theta)]$ ，则无法简单得到闭式解。
在这里插入图片描述

学生t分布模型

概念

高斯分布对奇异值太敏感，t分布不会产生如此剧烈影响。

如果
$P(\bm x|h) = \mathcal N (\bm x|\bm\mu, \bm\Sigma/h) \\ P(h) = Gam(h| \nu / 2, \nu/2)$
则 $x$ 的全概率分布为学生t分布：
$\begin{aligned} P(\bm x) & = \int P(\bm x|h)P(h)dh \\ &= \int \mathcal N(\bm x|\bm \mu, \bm\Sigma/h)Gam(h|\nu/2, \nu/2)dh \\ &= St(\bm x| \bm \mu, \bm \Sigma, \nu) \end{aligned}$
其中 $h$ 是标量隐变量， $Gam$ 是Gamma分布。
可以理解为是 $h$ 选择了一族同均值的正态分布中的一个，然后在该分布上生成 $\bm x$ .

也可参考之前博客中记录的，PRML对于学生t分布的解释。

在这里插入图片描述

EM算法求解

E步：
$\begin{aligned} q_i(h_i) = P(h_i|\bm x_i, \bm \theta^{[t]}) &= \frac{P(\bm x_i|h)P(h_i)}{P(\bm x_i|\theta^{[t]})} \\ &= \frac{\mathcal N(\bm x_i| \mu, \Sigma/h) Gam(h_i|\nu/2, \nu/2) }{P(\bm x_i|\theta^{[t]})} \\ &= Gam(h_i| \frac{\nu + D}{2} , \frac{(\bm x_i - \mu)^T \Sigma^{-1} (\bm x_i - \bm \mu)}{2} + \frac{\nu}{2}) \end{aligned}$
最后一步的证明，注意共轭性。可以参考之前的博客。
M步：对式(1)求导，置0后得到：
$\begin{aligned} \mu^{[t+1]} &= \frac{\sum_{i=1}^I \mathbb E[h_i]\bm x_i}{\sum_{i=1}^I \mathbb E[h_i]} \\ \Sigma^{[t+1]} &= \frac{\sum_{i=1}^I \mathbb E[h_i] (\bm x_i - \mu^{[t+1]})(\bm x_i - \mu^{[t+1]})^T}{\sum_{i=1}^I \mathbb E[h_i]} \end{aligned}$
直观解释： $\mathbb E [h_i]$ 可以看作是数据的权重。对于异常值，协方差较大的高斯分布出现的概率大，也即 $h_i$ 倾向于偏小，所以权重小。这样也解释了学生t分布对于异常值的鲁棒性。
自由度 $\nu$ 没有闭式解，可以在代入更新后 $\bm \mu, \bm \Sigma$ 后，进行一维线性搜索最大化。

参考文献：
[1] Prince S J D. Computer vision: models, learning, and inference[M]. Cambridge University Press, 2012. 108-116.

来源：CSDN

作者：叶萧不被占了吧

链接：https://blog.csdn.net/qq_32071849/article/details/104086483

标签

极简

EM算法极简总结

目录