1、损失函数 :度量预测错误的程度,评估模型单次预测的好坏。 a: 0-1损失函数 : $L(Y,f(X))=\begin{cases}0 & \text{ if } Y=f(X) \\ 1 & \text{ if } Y\neq f(X) \end{cases}$ b: 平方损失函数 : $L(Y,f(X))=(Y-f(X))^2$ c: 绝对损失函数 : $L(Y,f(X))=\left | Y-f(X) \right |$ d: 对数损失函数 : $L(Y,p(Y|X))=-log(p(Y|X))$ 2、风险函数 :损失函数的期望,评估模型平均预测好坏。 $R_{exp}(L(Y,f(X)))=\int_{x*y}L(Y,f(X))p(X,Y)dxdy$ 经验风险:关于训练集的平均损失。 $R_{emp}(L(Y,f(X)))=\frac{1}{n}\sum L(Y,f(X))$ 经验风险最小化: $\underset{F \epsilon f}{min}\frac{1}{n}\sum L(Y,f(X))$ eg:当模型是条件概率,损失函数是对数损失函数时,经验风险最小化等价于极大似然估计。 结构风险:是为了防止过拟合。 $R_{srm}(L(Y,f(X)))=\frac{1}{n}\sum L(Y,f(X))+\lambda J(f)$