1. 准确率/召回率/f1分数
2. Auc(一般用于二分类)
3. kappa系数(一般用于多分类)
3.1 简单kappa(simple kappa)
Kappa系数用于一致性检验,代表着分类与完全随机的分类产生错误减少的比例,kappa系数的计算是基于混淆矩阵的。
kappa计算结果为-1~1,但通常kappa是落在 0~1 间。实践证明,它是一个描述一致性的较为理想的指标。
第一种分析准则:
kappa=1 两次判断完全一致
kappa>=0.75 比较满意的一致程度
kappa<0.4 不够理想的一致程度
kappa>=0.75 比较满意的一致程度
kappa<0.4 不够理想的一致程度
第二种分析准则:
0.0~0.20极低的一致性(slight)
0.21~0.40一般的一致性(fair)
0.41~0.60 中等的一致性(moderate)
0.61~0.80 高度的一致性(substantial)
0.81~1几乎完全一致(almost perfect)
3.2 加权kappa(weighted kappa)
加权kappa分为linear weighted kappa 和 quadratic weighted kappa。
不同加权kappa系数的选择取决于数据集中不同class之间差异的意义。
例如对于眼底图像识别的数据,class=0为健康,class=4为疾病晚期非常严重,所以对于把class=0预测成4的行为所造成的惩罚应该远远大于把class=0预测成class=1的行为,使用quadratic的话0->4所造成的惩罚就等于16倍的0->1的惩罚。如下图是一个四分类的两个计算方法的比较。
(1)linear weighted kappa
(2)quadratic weighted kappa
计算原理:https://www.kaggle.com/c/data-science-bowl-2019/overview/evaluation