对预测模型讨论，预测误差（error）分两类：偏差（bias）造成的误差与方差（variance）造成的误差。最小化偏差与方差的一个权衡。理解这两类误差有利于诊断模型结果和避免过拟合和欠拟合。
偏差与方差
三种方式定义偏差与方差：概念、图形、数学
概念定义：
偏差造成的误差：预期/平均预测值 和 尝试正确预测的值之差。预期/平均预测值作何理解？多次建模，新数据新分析建立模型，由于数据随机，预测会产生一系列预测。偏见度量模型预测（models' predictions） 远离 正确值(the correct value)的程度.
方差造成的误差：对于给定数据点，模型预测的可变性。重复多次，方差就是对于给定点预测，在模型的不同实现之中变化的多少。
图形定义：
由靶心图可视化偏差与方差。靶心完全预测正确，偏离靶心预测差。训练中数据偶然变化。好的时候，集中在靶心；坏，outlier、非标准值（non-standard values）。散点图
图：
高/低 偏差/方差
数学定义：
The Elements of Statistical Learning中的定义：
Variable:预测Y，协变量(covariate)X，存在一种关系，Y=f(X)+e，误差项e为零均值正态分布。