1、损失函数：度量预测错误的程度，评估模型单次预测的好坏。
a：0-1损失函数：
$L(Y,f(X))=\begin{cases}0 & \text{ if } Y=f(X) \\ 1 & \text{ if } Y\neq f(X) \end{cases}$
b：平方损失函数：
$L(Y,f(X))=(Y-f(X))^2$
c：绝对损失函数：
$L(Y,f(X))=\left | Y-f(X) \right |$
d：对数损失函数：
$L(Y,p(Y|X))=-log(p(Y|X))$
2、风险函数：损失函数的期望，评估模型平均预测好坏。
$R_{exp}(L(Y,f(X)))=\int_{x*y}L(Y,f(X))p(X,Y)dxdy$
经验风险：关于训练集的平均损失。
$R_{emp}(L(Y,f(X)))=\frac{1}{n}\sum L(Y,f(X))$
经验风险最小化：
$\underset{F \epsilon f}{min}\frac{1}{n}\sum L(Y,f(X))$
eg：当模型是条件概率，损失函数是对数损失函数时，经验风险最小化等价于极大似然估计。
结构风险：是为了防止过拟合。
$R_{srm}(L(Y,f(X)))=\frac{1}{n}\sum L(Y,f(X))+\lambda J(f)$
eg：当模型是条件概率，损失函数是对数损失函数，模型复杂度由先验概率表示时，经验风险最小化等价于最大后验概率估计。
1、(Bayes)贝叶斯定理
$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$（“后验概率=标准似然度*先验概率”）2、似然函数
$p(x|\theta)$- x:表示一个具体数据
- $\theta$:表示模型参数
- 如果$\theta$已知，x为变量，这个函数是概率函数。$p(x|\theta)$表示取到不同x的概率是多少。
- 如果x已知，$\theta$为变量，这个函数是似然函数。$p(x|\theta)$表示不同$\theta$模型，出现x的概率。
3、极大似然估计
- 就是利用已知的样本结果信息，反推最具可能（最大概率）导致样本结果产生的模型参数
- 这样给定了一种通过样本结果评估模型参数的方法，“样本已定，模型未知”。
[1]https://zhuanlan.zhihu.com/p/26614750
来源：oschina
链接：https://my.oschina.net/u/4410409/blog/4274553