通俗易懂理解——条件随机场CRF

https://mp.weixin.qq.com/s?__biz=MzIyNzE5NjExMA==&mid=2651342812&idx=1&sn=2f74c852200d6868f68a2f05ba561ac8&chksm=f3980a7dc4ef836b764c7ad2bab7c92e696074af43efa2a6be03d686fcec0a4a91a05a116b38&scene=178&cur_album_id=1381650339941761024&exportkey=AaZpj6rbOKQmUg2WIvFt0k0%3D&pass_ticket=lXzBpkoZ2YPJsUPAT3fbhToQqpCP%2BpcjC24v76SUrC6t0zqXhUNtg4RI8W8iC6It&wx_header=0#rd

前言

CRF是一个概率无向图模型，在NLP领域应用广泛，目前大部分的序列标注问题(分词、实体识别等)都会采用Neural Network+CRF作为baseline，本文将会对CRF做一个基本的介绍，并讲解其推导过程。

CRF解决的是什么问题

假设你有许多小明同学一天内不同时段的照片，从小明起床到睡觉各个时间段都有。现在的任务是对这些照片进行分类。比如有的照片是吃饭，那就给它打上吃饭的标签；有的照片是跑步时拍的，那就打上跑步的标签；有的照片是开会时拍的，那就打上开会的标签。问题来了，你准备怎么做？

一个简单直观的办法就是，不管这些照片之间的时间顺序，想办法训练出一个多元分类器。就是用一些打好标签的照片作为训练数据，训练出一个模型，直接根据照片的特征来分类。例如，如果照片是早上6:00拍的，且画面是黑暗的，那就给它打上睡觉的标签；如果照片上有车，那就给它打上开车的标签。

乍一看这样是可行的，但实际上，由于我们忽略了这些照片之间的时间顺序这一重要信息，我们的分类器会有缺陷的。举个例子，假如有一张小明闭着嘴的照片，怎么分类？显然难以直接判断，需要参考闭嘴之前的照片，如果之前的照片显示小明在吃饭，那这个闭嘴的照片很可能是小明在咀嚼食物准备下咽，可以给它打上吃饭的标签；如果之前的照片显示小明在唱歌，那这个闭嘴的照片很可能是小明唱歌瞬间的抓拍，可以给它打上唱歌的标签。

所以，为了让我们的分类器能够有更好的表现，在为一张照片分类时，我们必须将与它相邻的照片的标签信息考虑进来。这就是条件随机场(CRF)大显身手的地方！

什么是CRF

接下来我们先简单介绍一下什么是CRF，CRF全名条件随机场，是一个概率无向图模型，它和HMM很类似，但是CRF没有隐变量，并且是一个判别模型。CRF属于log linear model，什么是log linear model呢，如下面公式所示

其中

是我们的似然函数，所以log linear model的优化问题是基于极大似然估计来的。叫做特征函数，表示的是参数，CRF的训练目标就是要求这个参数。

叫做规范化因子，可以看到，规范化因子就是对所有的Y进行了求和，因为我们求的是一个概率值，就好比10个球，其中一个是红色球，那抽到红球的概率是1/10而不是1，所以这里我们需要除以一个规范化因子。

上面的公式大家也许会觉得有点陌生，那这个logistic regression模型大家应该很熟悉，也属于log linear model，只是其特征函数如下：

其中表示的是y属于c这个类别则为1，否则为0，假如y有三种取值，c为1，那么只有当y为1的时候

，其它时候都为0，如果我们用向量来表示，则有

这就是咱们熟悉的softmax，如果是二分类，那就完全是逻辑回归了。

我们回过头来看CRF，CRF也属于log linear model，只是其特征函数不太一样。回忆下上文举的小明的例子，如果我们只用softmax来做分类，不考虑时序那注定会导致错误率提升，如果引入了时序的概念，那我们的特征函数肯定不能只关注当前时刻的状态值，还需要考虑其他时刻的值。所以，CRF的衍生出了如下的特征函数。

要注意CRF的特征函数的值要么是1要么是0。所以CRF其实和多元逻辑回归差不多，只是特征函数不一样，只要我们把CRF的特征函数搞明白了，CRF也就差不多搞明白了。

概率无向图模型

CRF实际上是一个概率无向图模型，所以在讲解下面内容前我们需要对概率无向图模型的内容进行一个补充讲解。概率无向图模型，也称为马尔科夫随机场，对概率无向图模型建模，首先需要求其联合概率分布，求一个无向图的联合概率，则需要求其最大团，下面给下最大团的定义，定义很好理解，就不过多赘述了。

无向图G中任何两个节点均有边连接的节点子集成为团，如果C是G的团，并且不能再加进任何一个G的结点使其成为更大的团,那么C就是最大团

其中

构成了一个最大团，

也构成了一个最大团。

设每个最大团的概率为

，那么无向图的联合概率为：

是规范化因子(normalization factor)

CRF是给定了随机变量X的条件下，随机变量Y的马尔科夫随机场，因此也叫做条件随机场，本文主要讨论的是线性链条件随机场。根据马尔科夫性有

设K是状态特征个数+转移特征个数，也即最大团的个数，i表示时刻，则有

CRF的三个问题

到此为止大家应该知道什么是CRF了，那么CRF该怎么用呢？CRF和HMM一样，也有自己需要求解的几个问题：

1、概率计算问题，计算某时刻的条件概率

与

2、预测问题，求CRF的最优路径，因为是序列问题，所以可以理解为预测每一个时刻的状态 3、学习问题，即CRF的训练过程

概率计算问题

概率计算问题是指给定参数W，X与Y，求条件概率

，

，这个条件概率的计算过程是一个递推的过程，所以被称为前向、后向算法，接下来我们看下其细节。

由上文我们知道

设

则有

假设我们要求

时刻

的概率，则可表示为

如果把

时刻的值单独出来，则有

再把

时刻的值单独出来，则有

可以发现，后一个时刻的条件概率其实就是等于前一个时刻的条件概率加上

，我们用来表示没有规范化因子的，那么，可以得到以下递推公式，v是t时刻的状态，u是t-1时刻的状态，注意此处是乘号不是加号，因为这一项从

中分离出来的，加号需要变乘号

该公式如果用自然语言解释一下就是：t时刻状态为v的概率，等于t-1时刻，所有状态的概率乘上状态变为v的概率的和，即上图中红色点的概率=绿色点的概率乘上箭头的概率的和

可以发现，该计算方法是从前往后的，因此称为前向算法。如果计算方向从后往前，则称为后向算法（推理过程和前向类似，不再赘述）

根据前向算法与后向算法，我们即可计算条件概率

这里说下我的理解，开始我一直无法理解为什么是前向的值乘后向的值，后面突然想到CRF是一个无向图啊，求解i时刻的概率值需要计算和i相关的最大团的概率并相乘，而前向和后向算法刚好计算的是和i有关系的最大团的概率。

规范化因子当然就是i时刻所有y的情况考虑进去，所以要累加。

同理，

只是多了一个最大团，把转移概率添加进去就ok了。

最后再提一点，《统计学习方法》中是用向量的形式来表示，所以在表示前向后向的值时不需要使用累加符号

。

预测问题

预测问题是指给定X与参数W，求使

最大的Y，说白了就是模型训练好了，输入x怎么输出y，对于逻辑回归这样的模型来说，这个过程很简单，就是一个加和的过程，但对于CRF来说其实是求解无向图的最优路径。

看个具体的例子，例如我们有一个这样一个句子：[我喜欢白色的鞋]，假如我们要对这个句子做词性标注，最终的结果是

，预测问题实际上就是指输出

，那为什么说这个过程需要优化呢？我们先看一下正常流程解决这个问题的时间复杂度。

还是举词性标注的例子，假如我们序列长度是n，一共有m种词性，每一个时刻都可以取m种情况，例如上图的

时刻，对应了m种情况，这个时刻我们可以直接判断一下m种词性哪个概率值最大，那当前时刻的词性就是最大概率的对应的词性，时刻也可以取m种情况，如果我们要计算当前时刻对应的词性，就需要用时刻所有词性的概率乘上由时刻的状态转变为时刻的状态的概率值，可以发现时间复杂度是，那如果序列的长度是n，那么时间复杂度就是

，很显然这是我们无法接受的，那这种情况该怎么解决呢？

既然是求最优问题，那大概率离不开动态规划，而此处的优化算法叫做维特比算法，该算法的本质就是动态规划。说白了就是计算t+1时刻的值的时候，我把t时刻所有词性的最优解先保存好。继续以上面为例，对于t2时刻我采用一样的求解方法，此时可以得到t2时刻所有词性的解并保存到数组里，t3时刻，只需要用t2时刻的最优解乘上转态转移概率，所以时间复杂度恒定为

接下来我们来看下详细的推导过程，先回顾下问题，给定W，X求使最大的Y，有没有觉得和上一个任务差不多,因为要求Y也需要求出对应的，只不过这里不需要计算出具体

是多大，所以可以不考虑规范化因子和exp函数。

如果用公式表示我们要求的值即为：