tf.softmax_cross_entropy_with_logits()的计算过程一共分为两步:1.对输入进行softmax转换成概率;2.计算交叉熵损失
对输入进行softmax转换成概率
比如某个logits = [2, 7, 5],使用softmax将logits转换成概率,就是按照公式:,计算logits中每个元素的值:
计算logits中每个元素的值,计算结果为[0.00589975 0.8756006 0.11849965],这三个元素每个都不小于0并且和为1,所以构成了概率分布。
计算交叉熵损失
假设对应logits的标签labels是[0,1,0],根据交叉熵公式: 计算概率化之后的logits和标签之间的交叉熵损失,其中
y' = [0.00589975 0.8756006 0.11849965] ,也就是−0×log(0.00589975)−1×log(0.8756006)−0×log(0.11849965)=0.6355716
注意事项
上面举的例子只对应一个样本的logits=[2, 7, 5],一般训练时batch size不会为设为1, 所以要使用tf.reduce_mean()来对tf.softmax_cross_entropy_with_logits()的结果取平均,得到关于样本的平均交叉熵损失.比如batch size = 2
logits=[[2,7,5],[6,3,4]] labels=[[0,1,0],[1,0,0]]
使用tf.softmax_cross_entropy_with_logits()计算后得到[2,7,5],[6,3,4]这两个样本的交叉熵损失,再使用tf.reduce_mean()取平均,具体见下面的代码演示
logits = tf.constant([2,7,5],dtype=tf.float32)
labels = [0,1,0]
#对logits使用softmax,[0.00589975 0.8756006 0.11849965]
res1 = tf.nn.softmax(logits)
# 交叉熵损失中的各个对数部分,[-5.1328454 -0.13284525 -2.1328452 ]
res2 = tf.log(res1)
# 交叉熵损失,0.13284527
res3 = tf.nn.softmax_cross_entropy_with_logits(logits=logits,labels=labels)
with tf.Session() as sess:
res1,res2,res3 = sess.run([res1,res2,res3])
print(res1)
print(res2)
print(res3)
参考资料:
https://blog.csdn.net/weixin_42713739/article/details/103203743
来源:CSDN
作者:weixin_42713739
链接:https://blog.csdn.net/weixin_42713739/article/details/103235556