损失函数与代价函数：目前理解是损失函数就是代价函数，且在损失函数的基础上进行梯度下降，找到最优解。
损失函数：根据目标模型的不同，会分为回归损失函数，逻辑回归分类损失。
MSE损失函数：度量特征图之间的距离，目标是提取特征图推理一致性。平均平方误差（mean square error）。MAE损失函数与之会有差异，mean absolute error，思想是这一类。
交叉熵损失函数：交叉熵由真实分布编码长度的期望演变而来（参考https://www.cnblogs.com/ljy2013/p/6432269.html），交叉熵(cross entropy error)是衡量两个概率分布p，q之间的相似性。这在特征工程中，用来衡量变量的重要性。所以交叉熵常用于分类。表达式是 类别✖️相应的概率表达。其他分类损失函数如0-1损失函数，变形联立后用交叉熵表达就是交叉熵损失函数。
来源：https://www.cnblogs.com/xiaoheizi-12345/p/12129947.html