auc

参考资料： https://zhuanlan.zhihu.com/p/46714763 ROC/AUC作为机器学习的评估指标非常重要，也是面试中经常出现的问题（80%都会问到）。其实，理解它并不是非常难，但是好多朋友都遇到了一个相同的问题，那就是：每次看书的时候都很明白，但回过头就忘了，经常容易将概念弄混。还有的朋友面试之前背下来了，但是一紧张大脑一片空白全忘了，导致回答的很差。 我在之前的面试过程中也遇到过类似的问题，我的面试经验是：一般笔试题遇到选择题基本都会考这个率，那个率，或者给一个场景让你选用哪个。面试过程中也被问过很多次，比如什么是AUC/ROC？横轴纵轴都代表什么？有什么优点？为什么要使用它？ 我记得在我第一次回答的时候，我将准确率，精准率，召回率等概念混淆了，最后一团乱。回去以后我从头到尾梳理了一遍所有相关概念，后面的面试基本都回答地很好。现在想将自己的一些理解分享给大家，希望读完本篇可以彻底记住ROC/AUC的概念。 ▌什么是性能度量？ 我们都知道机器学习要建模，但是对于模型性能的好坏（即模型的泛化能力），我们并不知道是怎样的，很可能这个模型就是一个差的模型，泛化能力弱，对测试集不能很好的预测或分类。那么如何知道这个模型是好是坏呢？我们必须有个评判的标准。为了了解模型的泛化能力，我们需要用某个指标来衡量，这就是性能度量的意义。有了一个指标，我们就可以对比不同模型了

准确率、召回率、F1 信息检索、分类、识别、翻译等领域两个最基本指标是召回率(Recall Rate)和准确率(Precision Rate)，召回率也叫查全率，准确率也叫查准率，概念公式: 召回率(Recall) = 系统检索到的相关文件 / 系统所有相关的文件总数 准确率(Precision) = 系统检索到的相关文件 / 系统所有检索到的文件总数 图示表示如下： 注意：准确率和召回率是互相影响的，理想情况下肯定是做到两者都高，但是一般情况下准确率高、召回率就低，召回率低、准确率高，当然如果两者都低，那是什么地方出问题了。一般情况，用不同的阀值，统计出一组不同阀值下的精确率和召回率，如下图： 如果是做搜索，那就是保证召回的情况下提升准确率；如果做疾病监测、反垃圾，则是保准确率的条件下，提升召回。 所以，在两者都要求高的情况下，可以用F1来衡量。 F1 = 2 * P * R / (P + R) 公式基本上就是这样，但是如何算图1中的A、B、C、D呢？这需要人工标注，人工标注数据需要较多时间且枯燥，如果仅仅是做实验可以用用现成的语料。当然，还有一个办法，找个一个比较成熟的算法作为基准，用该算法的结果作为样本来进行比照，这个方法也有点问题，如果有现成的很好的算法，就不用再研究了。 AP和mAP(mean Average Precision) mAP是为解决P，R，F

最近在打天池的比赛，里面需要用AUC来评测模型的性能，所以这里介绍一下AUC的相关概念，并介绍TensorFlow含有的函数来计算AUC。 先介绍一些前置的概念。在一个二分类问题中，如果本身是正例（positive），预测正确也预测成正例，则称为真正例（true positive），简称TP，而预测错误预测成了反例，则称为假反例（false negative），简称FN，如果本身是反例（negative），预测正确也预测成反例，则称为真反例（true negative），简称TN，而预测错误预测成了正例，则称为假正例（false positive），简称FP。查准率、查全率以及F1值都是根据上述四个值计算出来的，这里不做赘述。 真正例率（True Positive Rate，简称TPR），计算公式为TPR = TP / (TP + FN)，和查全率的公式一致，表示预测为正例且本身是正例的样本数占所有本身是正例的样本数的比重。假正例率（False Positive Rate，简称FPR），计算公式为FPR = FP / (TN + FP)，表示预测为正例且本身是反例的样本数占所有本身是反例的样本数的比重。 ROC全称是受访者工作特征（Receiver Operating Characteristic）曲线，用来研究一般情况下模型的泛化性能。先根据模型的预测结果将样本进行排序