kappa检测方法
Simple Kappa Coefficient(简单kappa系数)
- Clinician 1看做真实分布,Clinician2看做预测分布
- 实际一致率与随机一致率是否有显著的差别
Kappa=1−PePo−Pe;Po=na+d;Pe=n2(a+b)(a+c)+(c+d)(b+d),其中Po实际一致率,Pe理论一致率
- P0比较容易理解,Pe我们可以拆成na+b∗na+c+nc+d∗nb+d
- 其中na+b∗na+c,这个有点类似于交叉熵的概念真实分布概率*预测分布概率
Weighted Kappa Coefficient(加权Kappa系数)
Kappaw=n−∑wfe∑wfo−∑wfe
- 为了惩罚分错类别的情况,给不同分错类别的加上不同的权重
- ∑wfo: 观察一致性,带权重
- ∑wfe: 理论一致性,带权重
- 线性权重 linearweight=1−k−1∣i−j∣, k是样本总数, i,j是不同的类别
- 平方权重 quadraticweight=1−(k−1i−j)2
PCC相关系数
- 皮尔逊相关系数ρX,Y=σXσYcov(X,Y)=σXσYE[(X−uX)(Y−uY)]
参考资料
- http://blog.sina.com.cn/s/blog_8db50cf70101cffj.html
- https://en.wikipedia.org/wiki/Cohen%27s_kappa