数学基础_概率论基础_KL散度

KL散度（Kullback-Leibler divergence），可以以称作相对熵。KL散度的理论意义在于度量两个概率分布之间的差异程度，当KL散度越高的时候，说明两者的差异程度越大；而当KL散度低的时候，则说明两者的差异程度小。如果两者相同的话，则该KL散度应该为0。

接下来我们举一个具体的例子：

我们设定两个概率分布分别为P和Q，在假定为连续随机变量的前提下，他们对应的概率密度函数分别为p(x)和q(x)。我们可以写出如下公式：

$KL(P||Q) = \int p(x)\log \frac{p(x)}{q(x)}dx$

从上面的公式可以看出，当且仅当P=Q时，KL(P||Q) = 0。此外我们也发现KL散度具备非负的特性，即P(P||Q) >= 0。但是从公式中我们也可以发现，Kl散度不具备对称性，也就是说P对于Q的KL散度并不等于Q对于P的KL散度。

我们在来看看离散的情况下KL散度的公式：

$KL(P||Q) = \sum p(x)\log \frac{p(x)}{q(x)}$

接下来我们对上面的式子进行展开：

$KL(P||Q) = \sum p(x)\log \frac{p(x)}{q(x)} = -\sum p(x)\log(q(x)) + \sum p(x)\log(p(x)) = H(P,Q) - H(P)$

最后得到的第一项类似熵的形式，这一项称作P和Q的交叉熵（cross entropy），后面一项就是熵。

在信息论中，熵代表着信息量，H§代表着基于P分布自身的编码长度，也就是最优的编码长度。而H(P,Q)则代表着用P的分布去近似Q分布的信息，自然需要更多的编码长度。并且两个分布差异越大，需要的编码长度越大。所以两个值相减是大于等于0的一个值，代表冗余的编码长度，也就是两个分布差异的程度。所以KL散度在信息论中还可以称为相对熵（relative entropy）。

对深度学习中的生成模型来说，我们希望最小化真实数据分布与生成模型分布之间的KL散度，从而使得生成模型尽可能接近真实数据的分布。在实际实践中，我们是几乎不可能知道真实数据分布P_data(x)的，我们使用训练数据形成的经验分布在逼近P_data(x)。

来源：CSDN

作者：AIRocky

链接：https://blog.csdn.net/Rocky6688/article/details/103470437