1 熵
1.1 香农熵（Shannon Entropy）
用来描述信息量的多少,随机变量不确定性的度量（metric），给定一个随机变量\(X,p(x)=Pr\{X=x\},x\in\omega\)
\[ H(X)= -\sum_{x\in\omega}{p(x)log_2p(x)} \]
1.2 联合熵（Joint Entropy）
衡量一对随机变量所包含的信息量，两个随机变量联合不确定性的度量,联合熵描述了随机变量的相关性，越小越相关\((X,Y)\)及联合分布\(p(x,y)\)
\[
H(X,Y) = -\sum_{x\in X}\sum_{y\in Y}{p(x,y)log_2p(x,y)}
\]
1.3 条件熵（Conditional Entropy）
已知\(Y\)随机变量的前提下，随机变量\(X\)提供的信息量，依据\(p(x|y)=p(x,y)/p(y)\)
\[
\begin{aligned}
H(X|Y) &= -\sum_{x\in X}\sum_{y\in Y}{p(x,y)log_2p(x|y)}\\
&=-\sum_{x\in X}\sum_{y\in Y}{p(x,y)log_2p[(x,y)/p(y)]}\\
&=H(X,Y)-H(Y)
\end{aligned}
\]
对于联合分布和边缘分布，把\(X\)或\(Y\)的熵称作边缘熵，于是有
\[
H(Y|X)=H(X,Y)-H(X)\\
H(X,Y) = H(Y|X)+H(X)=H(X|Y)+H(Y)
\]
1.4 累计剩余熵（Cumulative Residual Entropy，CRE）
将香农熵定义中的概率分布换成累计概率分布
\[
\epsilon(X)=-\sum_{X\in X}P(X>x)logP(X>x)
\]
1.5 瑞利熵（RE）
瑞利熵时香浓熵的一种推广形式，又称作\(\alpha\)熵
\[
R_\alpha(X)=\frac{1}{1-\alpha}log\sum_{x\in X}p(x)^\alpha \quad (\alpha>0,\alpha\not ={1})
\]
当\(\alpha \to 1\)，求得瑞利熵的极限为香农熵，求极限也很简单，利用洛必达法则即可求得即可
2 相似性度量
2.1 互信息（Mutual Information，MI）
互信息衡量随随机变量\(X,Y\)之间的依赖程度，用来测量联合概率分布和二者完全独立时的分布之间的距离，使用KL散度（或称为相对熵）来定义
\[
MI(X,Y)=\sum_x\sum_y{p(x,y)=log\frac{p(x,y)}{p(x)\cdot p(y)}}
\]
互信息、联合熵、边缘熵、条件熵之间有紧密的关系
\[
\begin{aligned}
MI(x,y) &= H(X)+H(Y)-H(X,Y)\\
&=H(X)-H(X|Y)\\
&=H(Y)-H(Y|X)
\end{aligned}
\]
互信息表示\(X\)中包含\(Y\)的信息的多少，也是对称的\(Y\)中包含\(X\)的多少。若\(X,Y\)独立则\(I(X,Y)=0\),若一一相关，则\(I(X,Y)=H(X)=H(Y)\)
2.2 归一化互信息（Normalized Mutual Information，NMI）
为了解决互信息对图像部分重叠区域的敏感性，提出了NMI
\[
NMI(X,Y)=\frac{H(X)+H(Y)}{H(X,Y)}
\]
2.3 熵相关系数（Entropy Correlation Coefficient，ECC）
可以看作另一种归一化互信息
\[
\begin{aligned}
ECC(X,Y) &=\frac{2I(X,Y)}{H(X)+H(Y)}\\
&=2-\frac{2}{NMI}
\end{aligned}
\]
2.4 互累计剩余熵（Cross Cumulative Residual Entropy，CRE）
和互信息类似，只不过这里的熵换成了累计剩余熵
\[
CCRE(X,Y)=\epsilon(X)-E[\epsilon(Y|X)]
\]
2.5 Alpha互信息（Alpha Mutual Information，\(\alpha-MI\)）
根据\(\alpha\)熵得出\(\alpha\)熵
\[
D_\alpha(X,Y)=\frac{1}{\alpha -1}log\sum_{x\in X}\sum_{y\in Y}p(x,y)^\alpha(p(x)p(y))^{1-\alpha}
\]
2.6 相对熵（KL散度）
相对熵也称作为KL散度，可以衡量两个分布之间的差异,\(p,q\)是\(X\)上的两个分布
\[
D_{KL}(p||q)=\sum{p(x)log\frac{p(x)}{q(x)}}
\]
2.7 交叉熵
是KL散度的一部分
\[
H(p,q)= \sum_{x\in X}p(x)log(q(x))
\]
2.8 詹森香农散度（JS散度）
因为KL散度不对称，所以提出了JS散度
\[
JS(p||q)=\frac{1}{2}D_{KL}(p||\frac{p+q}{2})+\frac{1}{2}D_{KL}(q||\frac{p+q}{2})
\]
2.9 詹森瑞利散度
\[ JR_\alpha^\omega(X,Y)=R_\alpha(Y)-\sum_{x\in X}p(x)R_\alpha(Y|x) \]