【一致性檢驗指標】Kappa(cappa)係數

1 定義

百度百科的定義：

它是通過把所有地表真實分類中的像元總數（N）乘以混淆矩陣對角線（Xkk）的和，再減去某一類地表真實像元總數與被誤分成該類像元總數之積對所有類別求和的結果，再除以總像元數的平方減去某一類中地表真實像元總數與該類中被誤分成該類像元總數之積對所有類別求和的結果所得到的。

這對於新手而言可能比較難理解。什麼混淆矩陣？什麼像元總數？
我們直接從算式入手：

\[k = \frac{p_0-p_e}{1-p_e} \]

\(p_0\)是每一類正確分類的樣本數量之和除以總樣本數，也就是總體分類精度
假設每一類的真實樣本個數分別為\(a_1,a_2,...,a_c\)
而預測出來的每一類的樣本個數分別為\(b_1,b_2,...,b_c\)
總樣本個數為n
則有：\(p_e=a_1×b_1+a_2×b_2+...+a_c×b_c / n×n\)

1.1 簡單例子

學生考試的作文成績，由兩個老師給出 好、中、差三檔的打分，現在已知兩位老師的打分結果，需要計算兩位老師打分之間的相關性kappa係數：

從上面的公式中，可以知道我們其實只需要計算\(p_0 ,p_e\)即可：

Po = (10+35+15) / 87 = 0.689
a1 = 10+2+8 = 20; a2 = 5+35+5 = 45; a3 = 5+2+15 = 22;
b1 = 10+5+5 = 20; b2 = 2+35+2 = 39; b3 = 8+5+15 = 28;
Pe = (a1b1 + a2b2 + a3b3) / (8787) = 0.455
K = (Po-Pe) / (1-Pe) = 0.4293578

可以說提到kappa到處都是兩個老師的例子，哈哈

2 指標解釋

kappa計算結果為[-1,1]，但通常kappa是落在 [0,1] 間

第一種分析準則--可分為五組來表示不同級別的一致性：

0.0~0.20極低的一致性(slight)

0.21~0.40一般的一致性(fair)

0.41~0.60 中等的一致性(moderate)

0.61~0.80 高度的一致性(substantial)

0.81~1幾乎完全一致(almost perfect)