置信度传播算法（Belief Propagation）

基础知识

条件概率（Conditional Probability）

相互独立时，p(A | B) = p(A)

贝叶斯规则

贝叶斯网络（Bayesian Network）定了一个独立的结构：一个节点的概率仅依赖于它的父节点。贝叶斯网络适用于稀疏模型，即大部分节点之间不存在任何直接的依赖关系。

联合概率（Joint Probability），表示所有节点共同发生的概率，将所有条件概率相乘：

我们最终的目标是计算准确的边缘概率（Marginal Probability），比如计算Hangover的概率，边缘概率为各种状态下所有其他节点对本节点影响的概率的和。

边缘概率（Marginal Probability）：即某个事件发生的概率，而与其它事件无关。边缘概率是这样计算的：在联合概率中，把最终结果中不需要的那些事件合并成其事件的全概率而消失（在两个离散随机变量的条件下，对于其中任一行或任一列求和，得到的概率就是边缘概率）。在本例中，针对不同的Hangover进行求和，得到的就是Hangover的边缘概率：

优化

接下来就是要获得观测变量 x_h_h)的值最大，即：

马尔科夫随机场（Markov Random Field，MRF）

在概率图模型中，每个结点表示一个随机变量，结点之间的边表示这些随机变量之间的概率关系。在概率图模型中，所有随机变量的联合概率分布可以表示成若干随机变量子集的乘积。典型的概率图模型包括贝叶斯网和马尔科夫网。贝叶斯网是有向图模型，用于表示随机变量之间的因果关系，而马尔科夫网是无向图模型，用于表示随机变量的概率分布和概率推理，或者说是随机变量之间的软约束关系。

BP算法的基础就是建立于MRF上，MRF是一种条件概率模型，它可以被认为是马尔科夫链的一种推广，其对于场内所有节点的相关性都能很有效的描述。

假设我们观察到y_i的一些信息，需要利用这些已知信息去推断关于隐含的场景x_i的另外一些信息。每个顶点i都有一个状态值x_i和一个观测值y_i，每个状态值和观测值之间的似然函数为Ф_i(x_i,y_i)，反映了i处的 x_i和 y_i存在统计依赖性，表示节点i的联合相容度，相邻邻居节点之间的势能量为Ψ_ij(x_i,xj)，Ψ_ij(x_i,x_j)也称为相邻节点之间的不连续代价，反映了节点变量 x_i 和 xj

灰色点表示隐含节点x_i，黑色点表示显式节点y_i，实线表示存在似然函数Ф_i，虚线表示存在一对势函数Ψ_ij和Ψ_ji。

联合概率为：

其中，Z 是一个归一化常数。

边缘概率为：

置信度传播(Belief Propagation，BP)

置信度传播算法利用结点与结点之间相互传递信息而更新当前整个MRF的标记状态，是基于MRF的一种近似计算。该算法是一种迭代的方法，可以解决概率图模型概率推断问题，而且所有信息的传播可以并行实现。经过多次迭代后，所有结点的信度不再发生变化，就称此时每一个结点的标记即为最优标记，MRF也达到了收敛状态。对于无环环路的MRF，BP算法可以收敛到其最优解。

BP算法的两个关键过程：（1）通过加权乘积计算所有的局部消息；（2）节点之间概率消息在随机场中的传递。

置信度替换为概率：

b_i(x_i)为节点i的联合概率分布，其中m_ji(x_i)代表隐含节点j传递给隐含节点i的消息，表明了隐含节点i对隐含节点j当前状态的影响。Ф_i(x_i,y_i) 表示节点i的局部证据，表示节点i的联合相容度。节点i的置信度b_i(x_i)与 i 的邻域向 i 传递的所有消息的乘积成正比，同时也正比于Ф_i(x_i,y_i) ，1/z_i