交叉熵（Cross Entropy Loss）也是一种loss
香农定理：
用概率决定信息量，公式的意义：比如：买彩票，中100万奖概率小，一旦你中奖了，这个信息量就很大了；但你花10块钱买了一袋零食，本来概率就是100%，这个信息量就很小，由概率决定信息量，两者呈反比。
所以，如果4分类，每个分类出来的概率都是25%，不确定性很高，即求出的E（熵）就很大，可以用作loss。
KL代表散度
来源：CSDN
作者：Da小伙儿
链接：https://blog.csdn.net/weixin_43633568/article/details/104672514