机器学习-模型评估与选择
近年来随着海量数据不断积累以及计算机性能的飞速提升，机器学习被广泛的应用于科学研究和工业生产的各个领域。然而，不同领域使用的模型差距明显，需要考虑的情况各不相同，针对不同领域的不同任务，如何去评估模型成为了模型开发过程的不可或缺的一部分。
在实际情况中，我们会用不同的度量去评估我们的模型，而度量的选择，完全取决于模型的类型和模型以后要做的事。下面我们就会学习到一些用于评价模型的常用方法。
1. 经验误差与过拟合
1.1经验误差
误差（error）：学习器的实际预测输出与样本的真实输出之间的差异。
按照针对的数据集不同可以将误差分为两类：
-
训练集：训练集误差（training error，经验误差）
-
测试集：测试集误差（generalization error，泛化误差）
1.2过拟合
- 当学习器把训练样本学得“太好”了的时候，很可能把训练样本自身的一些特点当做了所有潜在样本都会具有的一般性质，这样导致泛化性能下降。过拟合必然存在，无法彻底避免，只能够减小过拟合风险。
- 欠拟合：未能学习到训练样本的一般性质。
2.评估方法
评估方法评估的是学习器泛化误差的大小，一般使用一个测试集来测试学习器对新样本的判别能力，然后以测试集上的测试误差作为泛化误差的近似。
假设有有一个包含m个样例的数据集D（Database），将其分为两部分，一部分是训练集S，另一部分为测试集T。
常用的评估方法K折交叉验证
K折交叉验证
将D划分为k个大小相似的互斥子集。(D通过分层采样得到每个子集Di,保持数据分布一致性)。每次用k-1个子集的并集作为训练集，余下那个作测试集。即可获得k组训练/测试集，进行k次训练和测试，最终返回k个测试结果的均值。也称“k折交叉验证”。
为减小因样本划分不同而引入的差别，k折交叉验证要随机使用不同的划分重复p次，最终评估结果是这p次k折交叉验证结果的均值，即进行p*k次训练/测试。
3.性能度量
性能度量定义是衡量模型泛化能力的评价标准。
给定样例集，yi是对xi的真实标记，要评估学习器f的性能，就要把学习器预测结果f(x)与真实标记y进行比较。
比较的方法通常是均方误差，正确率，查准率、查全率等。
3.1均方误差定义
均方误差是指预测值与实际值之间的方差。
3.2错误率与精度
错误率：分类错误的样本数占样本总数的比例
精度：分类正确的样本数占样本总数的比例
3.3分类混淆矩阵
在二分类问题中，所有样本的分类结果共有四种情况，如下表所示：
真实情况 预测结果
| 真实情况 |------------ 预测结果----------------|
| -------------|- ----正例 ------|-----反例----------|
|正例 -------| TP（真正例 ）| FN（假反例）|
|反例--------|FP（假正例）| TN（真反例）|
- 查准率与查全率
查准率P（Precision）：真正例的数量/预测结果为正例的数量
查全率R（Recall）：又称召回率，定义为真正例的数量/真实情况为正例的数量
通常，查准率高时，查全率偏低；查全率高时，查准率偏低。
例如，若希望好瓜尽可能的挑选出来，则可通过增加选瓜的数量来实现，查准率就会低；
若希望挑出的瓜中好瓜比例尽可能高，则可挑选有把握的瓜，必然会漏掉好瓜，查全率就低了。
- ROC曲线与AUC值
ROC曲线的横轴为假正例率FPR，纵轴为真正例率TPR。
FPR与TPR定义如下：
ROC曲线的绘制过程如下：
把分类器预测的最可能是正例的样本排在前面。从排序中某个位置截断，前一部分判断正例，后一部分判定为反例。根据真实情况计算此时的真正例率和假正例率。并在坐标轴中描点，依次选取多个截断点，之后将坐标轴中的连接起来。当截断点在第0个的时候，判定所有样本均为负例，这时真正例率为0，假正例率也为0.当截断点选在最后一个样本时，分类器把所有样本均判定为正例，这时真正例率为1，由于把所有的负样本也都判定为了正例，所以假正例率也为1.
所以我们通常看到的ROC曲线为如下形状：
我们希望得到的分类器是可以在假正例率一定的情况下，具有最大的真正例率。所以比较分类器性能的方法可以比较ROC曲线下面的面积，这个面积的值也称为AUC。
##总结
以上就是机器学习中的一些常见的概念，是机器学习入门的基础，只有明白了这些基本概念，才能进行具体算法的学习。
希望整理的这些内容 能够给大家提供一些帮助，也欢迎大家留言交流，一起学习成长。
来源：CSDN
作者：taiguangxing
链接：https://blog.csdn.net/weixin_39709476/article/details/104572322