隐马尔可夫模型学习笔记（之二，学习算法）

在介绍学习算法之前，先介绍一些概率和期望值的计算。
利用前向概率和后向概率，可以得到关于单个状态和两个状态概率的计算公式。
1. 给定模型λ$\lambda$和观测O$O$，在时刻t$t$处于状态qi$q_i$的概率。记为

γt(i)=P(it=qi|O,λ)(1)$$\begin{array}{}\text{(1)}& {\gamma }_t(i)=P(i_t=q_i|O,\lambda )\end{array}$$

先分解为分数形式

γt(i)=P(it=qi,O|λ)P(O|λ)(2)$$\begin{array}{}\text{(2)}& {\gamma }_t(i)=\frac{P(i_t=q_i,O|\lambda )}{P(O|\lambda )}\end{array}$$

根据前向概率的定义可以做以下变换

αt(i)=P(o1,o2...ot,it=qt|λ)=P(it=qt|λ)P(o1,o2...ot|it=qt,λ)$${\alpha }_t(i)=P(o_1,o_2...o_t,i_t=q_t|\lambda )=P(i_t=q_t|\lambda )P(o_1,o_2...o_t|i_t=q_t,\lambda )$$

后向概率的定义如下

βt(i)=P(ot+1,ot+2...,oT|it=qt,λ)$${\beta }_t(i)=P(o_{t+1},o_{t+2}...,o_T|i_t=q_t,\lambda )$$

将这两者相乘得到

αt(i)βt(i)====P(it=qt|λ)P(o1,o2...ot|it=qt,λ)P(ot+1,ot+2...,oT|it=qt,λ)P(it=qt|λ)P(o1,o2...oT|it=qt,λ)P(it=qt|λ)P(O|it=qt,λ)P(it=qt,O|λ)(356)(357)(358)(3)$$\begin{array}{}\text{(356)}& {\alpha }_t(i){\beta }_t(i)& =& P(i_t=q_t|\lambda )P(o_1,o_2...o_t|i_t=q_t,\lambda )P(o_{t+1},o_{t+2}...,o_T|i_t=q_t,\lambda )\text{(357)}& & =& P(i_t=q_t|\lambda )P(o_1,o_2...o_T|i_t=q_t,\lambda )\text{(358)}& & =& P(i_t=q_t|\lambda )P(O|i_t=q_t,\lambda )\text{(3)}& & =& P(i_t=q_t,O|\lambda )\end{array}$$

以上结果从两者的定义上也很好理解。
对变量i$i$在范围i=1,2,...N$i=1,2,...N$上求和

∑i=1NP(it=qt,O|λ)=P(O|λ)(4)$$\begin{array}{}\text{(4)}& \sum _{i=1}^{N}P(i_t=q_t,O|\lambda )=P(O|\lambda )\end{array}$$

将式(3),(4)$(3),(4)$代入(2)$(2)$可以得到