损失函数

loss function

损失函数 loss function：是针对于单个样本而言的，是指一个样本的误差。

代价函数 cost function：是定义在整个训练数据集上的，是所有单个样本和损失的平均，

目标函数 object function：是指最中要优化的函数，一般而言是经验风险+结构风险（也就是代价函数+正则化项）

其中下面的解释$y$代表真实的值，$f(x)$代表模型得出的值

loss function

（1），0-1损失函数

$L(y,f(x))=\begin{cases} 1& \text{y = f(x)}\\ 0& \text{y != f(x)} \end{cases}$

（2），平方损失函数

$L(y,f(x)) = [y-f(x)]^2$

（3），绝对值损失函数

$L(y,f(x)) = |y - f(x)|$

（4），对数损失函数

$L(y,p(y|x)) = -\log p(y|x)$

该损失函数用了极大似然估计的思想，

（5），合页损失函数

$L(w,b) = \max\{ 0 , 1-yf(x)\}$

尤其是SVM,其中$y = +1 $或$y = -1$时，$f(x) = wx+b$

（6），Huber损失

$L_{\epsilon}(y,f(x)) = \begin{cases} \frac{1}{2}(y-f(x))^2 & \text{|y-f(x)|<}\epsilon \\ \epsilon |y - f(x)| -\frac{1}{2}\epsilon^2 & \text{other} \end{cases}$

cost function

（1），均方误差函数（Mean Squared Error）MSE

$MSE = \frac{1}{N} \sum_{i=1}^{N}(y^{(i)} - f(x^{(i)})^2$

（2），均方根误差

$RMSE = \sqrt{\frac{1}{N} \sum_{i=1}^{N}(y^{(i)} - f(x^{(i)})}$

（3），平均绝对误差

$MAE = \frac{1}{N} \sum_{i=1}^{N}|y^{(i)} - f(x^{(i)}|$

（4），交叉熵代价函数

$H(p,q) = -\sum_{i=1}^{N}p(x^i)\log q(x^{-i})$

交叉熵代价函数是用来评估当前训练到的模型的概率分布与真实分布的差异情况，减少交叉熵代价就是在提高模型的正确率

例如：对于二分类问题的交叉熵代价函数可表示为：

$L(w,b) = -\frac{1}{N} \sum_{i=1}^{N}((y^i\log f(x^i)) + (1 - y^i)(\log (1- f(x^i))$

其中$f(x)$可以是sigmoid函数，$y^i\in \{0,1\}$，通常作为分类问题的代价函数

object function

来源：CSDN

作者：_BOTAK_

链接：https://blog.csdn.net/BOTAK_/article/details/103837447