图像中用到的信息论中的一些概念公式

江枫思渺然 提交于 2019-12-05 07:24:48

1 熵

1.1 香农熵(Shannon Entropy)

用来描述信息量的多少,随机变量不确定性的度量(metric),给定一个随机变量\(X,p(x)=Pr\{X=x\},x\in\omega\)

\[ H(X)= -\sum_{x\in\omega}{p(x)log_2p(x)} \]

1.2 联合熵(Joint Entropy)

衡量一对随机变量所包含的信息量,两个随机变量联合不确定性的度量,联合熵描述了随机变量的相关性,越小越相关\((X,Y)\)及联合分布\(p(x,y)\)
\[ H(X,Y) = -\sum_{x\in X}\sum_{y\in Y}{p(x,y)log_2p(x,y)} \]

1.3 条件熵(Conditional Entropy)

已知\(Y\)随机变量的前提下,随机变量\(X\)提供的信息量,依据\(p(x|y)=p(x,y)/p(y)\)
\[ \begin{aligned} H(X|Y) &= -\sum_{x\in X}\sum_{y\in Y}{p(x,y)log_2p(x|y)}\\ &=-\sum_{x\in X}\sum_{y\in Y}{p(x,y)log_2p[(x,y)/p(y)]}\\ &=H(X,Y)-H(Y) \end{aligned} \]
对于联合分布和边缘分布,把\(X\)\(Y\)的熵称作边缘熵,于是有
\[ H(Y|X)=H(X,Y)-H(X)\\ H(X,Y) = H(Y|X)+H(X)=H(X|Y)+H(Y) \]

1.4 累计剩余熵(Cumulative Residual Entropy,CRE)

将香农熵定义中的概率分布换成累计概率分布
\[ \epsilon(X)=-\sum_{X\in X}P(X>x)logP(X>x) \]

1.5 瑞利熵(RE)

瑞利熵时香浓熵的一种推广形式,又称作\(\alpha\)
\[ R_\alpha(X)=\frac{1}{1-\alpha}log\sum_{x\in X}p(x)^\alpha \quad (\alpha>0,\alpha\not ={1}) \]
\(\alpha \to 1\),求得瑞利熵的极限为香农熵,求极限也很简单,利用洛必达法则即可求得即可

2 相似性度量

2.1 互信息(Mutual Information,MI)

互信息衡量随随机变量\(X,Y\)之间的依赖程度,用来测量联合概率分布和二者完全独立时的分布之间的距离,使用KL散度(或称为相对熵)来定义
\[ MI(X,Y)=\sum_x\sum_y{p(x,y)=log\frac{p(x,y)}{p(x)\cdot p(y)}} \]
互信息、联合熵、边缘熵、条件熵之间有紧密的关系
\[ \begin{aligned} MI(x,y) &= H(X)+H(Y)-H(X,Y)\\ &=H(X)-H(X|Y)\\ &=H(Y)-H(Y|X) \end{aligned} \]
互信息表示\(X\)中包含\(Y\)的信息的多少,也是对称的\(Y\)中包含\(X\)的多少。若\(X,Y\)独立则\(I(X,Y)=0\),若一一相关,则\(I(X,Y)=H(X)=H(Y)\)

2.2 归一化互信息(Normalized Mutual Information,NMI)

为了解决互信息对图像部分重叠区域的敏感性,提出了NMI
\[ NMI(X,Y)=\frac{H(X)+H(Y)}{H(X,Y)} \]

2.3 熵相关系数(Entropy Correlation Coefficient,ECC)

可以看作另一种归一化互信息
\[ \begin{aligned} ECC(X,Y) &=\frac{2I(X,Y)}{H(X)+H(Y)}\\ &=2-\frac{2}{NMI} \end{aligned} \]

2.4 互累计剩余熵(Cross Cumulative Residual Entropy,CRE)

和互信息类似,只不过这里的熵换成了累计剩余熵
\[ CCRE(X,Y)=\epsilon(X)-E[\epsilon(Y|X)] \]

2.5 Alpha互信息(Alpha Mutual Information,\(\alpha-MI\)

根据\(\alpha\)熵得出\(\alpha\)
\[ D_\alpha(X,Y)=\frac{1}{\alpha -1}log\sum_{x\in X}\sum_{y\in Y}p(x,y)^\alpha(p(x)p(y))^{1-\alpha} \]

2.6 相对熵(KL散度)

相对熵也称作为KL散度,可以衡量两个分布之间的差异,\(p,q\)\(X\)上的两个分布
\[ D_{KL}(p||q)=\sum{p(x)log\frac{p(x)}{q(x)}} \]

2.7 交叉熵

是KL散度的一部分
\[ H(p,q)= \sum_{x\in X}p(x)log(q(x)) \]

2.8 詹森香农散度(JS散度)

因为KL散度不对称,所以提出了JS散度
\[ JS(p||q)=\frac{1}{2}D_{KL}(p||\frac{p+q}{2})+\frac{1}{2}D_{KL}(q||\frac{p+q}{2}) \]

2.9 詹森瑞利散度

\[ JR_\alpha^\omega(X,Y)=R_\alpha(Y)-\sum_{x\in X}p(x)R_\alpha(Y|x) \]

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!