损失函数理解:MSE和 Cross Entropy Error

╄→尐↘猪︶ㄣ 提交于 2020-01-01 21:15:31

损失函数与代价函数:目前理解是损失函数就是代价函数,且在损失函数的基础上进行梯度下降,找到最优解。

损失函数:根据目标模型的不同,会分为回归损失函数,逻辑回归分类损失。

            MSE损失函数:度量特征图之间的距离,目标是提取特征图推理一致性。平均平方误差(mean square error)。MAE损失函数与之会有差异,mean absolute error,思想是这一类。

            交叉熵损失函数:交叉熵由真实分布编码长度的期望演变而来(参考https://www.cnblogs.com/ljy2013/p/6432269.html),交叉熵(cross entropy error)是衡量两个概率分布p,q之间的相似性。这在特征工程中,用来衡量变量的重要性。所以交叉熵常用于分类。表达式是 类别✖️相应的概率表达。其他分类损失函数如0-1损失函数,变形联立后用交叉熵表达就是交叉熵损失函数。

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!