KL散度

KL散度( Kullback–Leibler divergence)是描述两个概率分布P和Q差异的一种测度。

KL散度的性质：P表示真实分布，Q表示P的拟合分布

1. 非负性：KL(P||Q)>=0，当P=Q时，KL(P||Q)=0；
2. 非对称性：D(P||Q) ≠ D(Q||P)
3. KL散度不满足三角不等

 

来源：https://www.cnblogs.com/gaona666/p/12294526.html