HMM与CRF
隐马尔可夫
原理
代码实现
条件随机场
原理
条件随机场是从概率无向图(马尔可夫随机场)扩展得到的,概率无向图的联合概率分布$P(Y)$可由概率图中所有的最大团$C$上的势函数$\Psi_{C}(Y_{C})$的乘积形式表示,$Y_{C}$是$C$对应的随机变量,即
$$P(Y)=\frac{1}{Z} \prod_{C} \Psi_{C}(Y_{C})$$
其中$Z$是规范化因子,保证$P(Y)$是一个概率分布。函数$\Psi_{C}(Y_{C})$要保证是严格正的,且通常为定义为指数函数。
$$\Psi_{C}(Y_{C})=exp\left( -E(Y_{C}) \right)$$
条件随机场是给定随机变量$X$条件下,随机变量$Y$的马尔可夫随机场,这里介绍的是定义在线性链上的条件随机场,在标注问题中,$X$表示输入的观测序列,$Y$表示对应的输出标记序列或状态序列,如下图。
条件随机场的条件概率模型如下:
$$P(y|x)=\frac{1}{Z(x)}exp \left( \sum_{i,k} \lambda_{k}t_{k}(y_{i-1},y_{i},x,i) + \sum_{i,l}\mu_{l}s_{l}(y_{i},x,i) \right)$$
$t_{k}$是定义在边上的特征函数, 称为转移特征特征,依赖于当前位置和前一个位置,$s_{l}$是定义在结点上的特征函数,称为状态特征,依赖于当前位置。通常,特征函数$t_{k}$和$s_{l}$取值为1或0,$ \lambda_{k}$和$\mu_{l}$是特征函数对应的权值。
条件随机场实际上是定义在时序数据上的对数线性模型
代码实现
面试问题
隐马三个基本问题:
(1)概率计算问题
给定模型和观测序列,求解在模型$\lambda$的条件下出现观测序列$O$的概率$P(O|\lambda)$。换言之,如何评估模型与观测序列之间的匹配度?
(2)学习问题
给定观测序列$O=(o_{1},o_{2},...,o_{T})$,估计模型参数$\lambda=(A,B,\pi)$,使得$P(O|\lambda)$最大。换言之,如何训练模型使其能最好地描述观测数据。
(3)预测问题
也称为解码问题。已知模型$\lambda$和观测序列$O$,求解最可能的状态序列$I=(i_{1},i_{2},...i_{T})$。换言之,如何根据观测序列来推测隐藏的状态序列。
解决三个问题的基本算法:
(1)前向后向算法
(2)Baum-Welch算法(EM)
(3)维特比算法
HMM、CRF与LR的关系
(1)CRF与LR都是对数线性模型,条件随机场是逻辑回归的序列化版本。逻辑回归是用于分类的对数线性模型,条件随机场是用于序列化标注的对数线性模型。
(2)HMM是生成式模型,LR与CRF是判别式模型
(3)HMM也可以做序列标注任务。每一个HMM模型都可以用CRF模型表示,但CRF可以定义数量更多,种类更丰富的特征函数,还可以对特征函数使用任意的权重。CRF比HMM要强大。
来源:https://www.cnblogs.com/4PrivetDrive/p/12141639.html