偏差与方差

偏差-方差分解 试图对学习算法的 期望泛化错误率 进行分解。

1. 测试样本 x
2. \(y_D\)为 x 在数据集中标记
3. y为x的真实标记
4. f(x;D)为训练集D上学得模型f 在x上的预测输出

学习算法的期望预测：




偏差 方差 噪声 含义



偏差：描述的是预测值（估计值）的期望与真实值之间的差距。偏差越大，越偏离真实数据，如下图第二行所示。

方差：描述的是预测值的变化范围，离散程度，也就是离其期望值的距离。方差越大，数据的分布越分散，如下图右列所示。





来源：https://www.cnblogs.com/xuehaozhe/p/pian-cha-yu-fang-cha.html