不平衡資料的分類評價指標總結

Candy_GL發表於2018-09-26
指標

轉自：https://blog.csdn.net/sqiu_11/article/details/78396443

識別任務中混淆矩陣（Confusion Matrix）用於評價演算法好壞的指標。下圖是一個二分類問題的混淆矩陣：

TP：正確肯定——實際是正例，識別為正例

FN：錯誤否定（漏報）——實際是正例，卻識別成了負例

FP：錯誤肯定（誤報）——實際是負例，卻識別成了正例

TN：正確否定——實際是負例，識別為負例

 

相關術語：

AccuracyRate(準確率): (TP+TN)/(TP+TN+FN+FP)

ErrorRate(誤分率): (FN+FP)/(TP+TN+FN+FP)

Recall(召回率，查全率,擊中概率): TP/(TP+FN), 在所有GroundTruth為正樣本中有多少被識別為正樣本了;

Precision(查準率):TP/(TP+FP),在所有識別成正樣本中有多少是真正的正樣本；

TPR(TruePositive Rate): TP/(TP+FN),實際就是Recall

FAR(FalseAcceptance Rate)或FPR(False Positive Rate)：FP/(FP+TN)， 錯誤接收率，誤報率，在所有GroundTruth為負樣本中有多少被識別為正樣本了;

FRR(FalseRejection Rate): FN/(TP+FN)，錯誤拒絕率，拒真率，在所有GroundTruth為正樣本中有多少被識別為負樣本了，它等於1-Recall

 

ROC曲線（receiver operatingcharacteristic curve）：在不平衡資料分類中最常用的指標之一

  1. 橫軸是FAR,縱軸是Recall;

  2. 每個閾值的識別結果對應一個點(FPR，TPR),當閾值最大時，所有樣本都被識別成負樣本，對應於左下角的點(0,0)，當閾值最小時，所有樣本都被識別成正樣本，對應於右上角的點(1,1)，隨著閾值從最大變化到最小，識別為正樣本的可能性變大，TP和FP都逐漸增大；隨著閾值從最小變化到最大，將負樣本識別為正樣本的可能性變小(FP減小)，將正樣本識別為負樣本的可能性在增大(FN)；

  3. 一個好的分類模型應儘可能位於影象的左上角，而一個隨機猜測模型應位於連線點（TPR=0,FPR=0）和（TPR=1,FPR=1）的主對角線上；

  4. 可以使用ROC曲線下方的面積AUC（AreaUnder roc Curve）值來度量演算法好壞：如果模型是完美的，那麼它的AUG = 1，如果模型是個簡單的隨機猜測模型，那麼它的AUG = 0.5，如果一個模型好於另一個，則它的曲線下方面積相對較大；

  5. (不平衡資料選擇多大的閾值最好？)：ERR（Equal Error Rate,相等錯誤率）：FAR和FRR是同一個演算法系統的兩個引數，把它放在同一個座標中。FAR是隨閾值增大而減小的，FRR是隨閾值增大而增大的。因此它們一定有交點。這個點是在某個閾值下的FAR與FRR等值的點。習慣上用這一點的值來衡量演算法的綜合效能。對於一個更優的指紋演算法，希望在相同閾值情況下，FAR和FRR都越小越好。

AUC: 陰影部分面積，在(0-1)之間，值越大說明分類越好

 

示例程式碼待續....

 

--------------------- 本文來自 sqiu_11 的CSDN 部落格 ，全文地址請點選：https://blog.csdn.net/sqiu_11/article/details/78396443?utm_source=copy 

相關文章