Statistics kappa系数
Cohen 的 kappa 系数 是衡量定性（分类）项目的评估者间一致性的统计量。通常认为它比简单的一致性百分比计算更可靠，因为 k 考虑了偶然发生的一致性。 Cohen's kappa 衡量两个评分者之间的一致性，每个评分者将 N 个项目分为 C 个互斥的类别。
Cohen 的 kappa 系数由以下函数定义和给出-
公式
${k = \frac{p_0-p_e}{1-p_e} = 1-\frac{1-p_o}{1-p_e}}$
哪里-
${p_0}$ = 评估者之间观察到的相对一致性。
${p_e}$ = 概率一致的假设概率。
${p_0}$ 和 ${p_e}$ 使用观察到的数据计算每个观察者随机说出每个类别的概率。如果评估者完全一致，则 ${k}$ = 1、如果评估者之间除了偶然预期之外没有达成一致（由 ${p_e}$ 给出），${k}$ ≤ 0 .
示例
问题陈述-
假设您正在分析一组 50 人申请资助的相关数据。每个赠款提案由两名读者阅读，每位读者对该提案要么说"是"，要么说"否"。假设分歧计数数据如下，其中A和B为读者，左斜斜的数据表示同意计数，右斜斜的数据表示分歧-
|
B |
| 是的 |
没有 |
| A |
是的 |
20 |
5 |
| 没有 |
10 |
15 |
计算 Cohen 的 kappa 系数。
解决方案-
请注意，读者 A 和读者 B 都批准了 20 个提案，两个读者都拒绝了 15 个提案。因此，观察到的比例一致性是
${p_0 = \frac{20+15}{50} = 0.70}$
为了计算 ${p_e}$（随机一致的概率），我们注意到-
读者 A 对 25 名申请人说"是"，对 25 名申请人说"不是"。因此，读者 A 有 50% 的时间说"是"。
读者 B 对 30 名申请人说"是"，对 20 名申请人说"不是"。因此，读者 B 有 60% 的时间说"是"。
使用公式 P(A and B) = P(A) x P(B) 其中 P 是事件发生的概率。
他们俩随机说"是"的概率是 0.50 x 0.60 = 0.30，他们都说"不是"的概率是 0.50 x 0.40 = 0.20。因此，随机一致的总体概率为 ${p_e}$ = 0.3 + 0.2 = 0.5、
所以现在应用我们的 Cohen's Kappa 公式，我们得到：
${k = \frac{p_0-p_e}{1-p_e} = \frac{0.70-0.50}{1-0.50} = 0.40}$
