机器学习中的方差与偏差,bias vs variance
一、方差与偏差文字与数学解释 (1)文字解释 偏差:预测值与真实值的差值 方差:预测值与训练数据集值的差值 (2)数学解释 对测试样本的预测值 $y-f(x;D)$ 泛化误差:$Err(x)=E[(y-f(x;D))^{2}]$ 测试样本的均值 $\bar{f}=E_{D}[f(x;D)]$ 真实值$y_{D}$,数据集上的标签值,y是理论上正确的值。 对泛化误差进行分解: $Err(x)$$=E[(y-f(x;D))^{2}]$ $=E_{D}[f(x;D)-\bar{f}+\bar{f}-y_{D}]$ $=E_{D}[(f(x;D)-\bar{f})^{2}] +E_{D}[(\bar{f}-y_{D})^{2}]+E_{D}[2(f(x;D)-\bar{f})(\bar{f}-y_{D})]$ $=E_{D}[(f(x;D)-\bar{f})^{2}]+E_{D}[(\bar{f}-y_{D})^{2}]$ $=E_{D}[(f(x;D)-\bar{f})^{2}]+E_{D}[(\bar{f}-y+y-y_{D})^{2}]$ $=E_{D}[(f(x;D)-\bar{f})^{2}]+E_{D}[(\bar{f}-y)^{2}]+E_{D}[(y-y_{D})^{2}]+2E_{D}[(\bar{f}-y)(y-y_{D})]$