人工智能里的数学修炼 | 隐马尔可夫模型：前向后向算法

人工智能里的数学修炼 | 概率图模型：隐马尔可夫模型
 人工智能里的数学修炼 | 隐马尔可夫模型：前向后向算法
 人工智能里的数学修炼 | 隐马尔可夫模型：维特比(Viterbi)算法解码隐藏状态序列
 人工智能里的数学修炼 | 隐马尔可夫模型：基于EM的鲍姆-韦尔奇算法求解模型参数
已经较为清楚的讲述了隐马尔可夫模型及其在实际应用的三个问题：1. 生成观察序列概率, 2. 预测问题, 3. 模型参数学习问题。
这里介绍求解第一个生成观察序列概率的前向后向算法，前向后向算法实际上是两个算法的合成，即前向算法和后向算法，二者相似，这里主要以前向算法为例进行介绍

一、前向算法

前向算法针对的是隐马尔可夫模型的概率计算问题，即给定一个模型参数已知的隐马尔可夫模型(HMM)和一组观测序列 $x_{1},x_{2},...,x_{n}$ ，求HMM生成这组观测序列的概率

前向算法定义了一个“前向概率”的定义，即：
给定隐马尔可夫模型 $\lambda$ ，定义1到t时刻部分的观测序列为 $x_{1},x_{2},...,x_{t}$ ,则t时刻的状态 $x_{t}$ 为 $i$ 的概率 $q_{i}$ 为前向概率, 记做
$c_{t}(i)=P(x_{1},x_{2},...,x_{t},i_{i}=q_{i}|\lambda)$

定义说明：由于每个状态生成一个观测变量，那么在 $t$ 时刻就会生成 $t$ 个观测变量，在 $t$ 时刻处于状态 $i$ 的概率就是前向概率。状态 $i$ 的的取值范围为 $o_{1},o_{2},...,o_{M}$ ,详见人工智能里的数学修炼 | 概率图模型：隐马尔可夫模型

利用定义的前向概率，可以很容易的从1到递推到 $t$ 得到观测序列概率 $P(x_{1},x_{2},...,x_{t}|\lambda)$ ，共有三步：

计算初值（t=1）
$c_{1}(i)=\pi_{j}b_{ji}, j=\{1,2,...,N\}$ 这里 $\pi_{j}$ 表示初始状态下状态变量为 $j$ 的概率, $b_{ji}$ 表示从状态 $j$ 推出观测 $i$ 的输出观测概率
递推环节，对于 $t=1,2,...,T-1$
$c_{t+1}(i)=[\sum_{k=1}^{N}c_{t}(k)a_{kj}]b_{ji},k=1,2,...,N$ 这里的 $a_{kj}$ 表示由状态 $k$ 转移到状态 $j$ 的状态转移概率， $b_{ji}$ 表示由状态 $j$ 推出观测 $i$ 的输出观测概率
到达指定时刻T
$P(x_{1},x_{2},...,x_{t}|\lambda)=\sum_{i=1}^{N}c_{T}{i}$
前向算法的求解过程其实是相当简洁明了的，即从1到T时刻，对应于每一个观测值 $x_{t}$ 都计算其由前一时刻状态转移后状态输出概率各种可能的和。