轉載
原地址 https://blog.csdn.net/mytestmy/article/details/24270513
一．ROC曲線作用
在網際網路廣告中，評價一個model的好壞是非常重要的。
至於怎麼評價，倒是有多種辦法，如準確度，ABtest效果等。其中也產生了一些評價指標，其中最常用的莫過於AUC了。AUC有一個很好的物理意義——AUC表示拿一個正樣本和一個負樣本組成一對，模型把這一對都區分正確（正樣本的預估值比負樣本大就算對了）的概率。
然後AUC是什麼呢？怎麼計算出來的呢？按照概率的說法，應該拿無數對正負樣本，計算這無數對樣本中被分對的比例，得到的就是auc。
這樣做太耗時間了，就有了其他的辦法，如繪圖求面積，因為概率其實是一個積分嘛。
有一堆理論去完成這個事情，後來發現AUC是ROC曲線的下面的面積。
下面開始說說ROC曲線。
其定義是：接收者操作特性曲線(receiver operating characteristic curve),它通過將連續變數設定出多個不同的臨界值，從而計算出一系列真正率和假正率，再以假正率為縱座標、真正率為橫座標繪製成曲線，曲線下面積越大，診斷準確性越高。在ROC曲線上，最靠近座標圖左上方的點為假正率和真正率均較高的臨界值。
上面的話不太好看懂，需要了解的事情就是——ROC曲線下面的面積（積分）就是AUC的值。
為啥要用AUC呢？傳統比較常用的ACC（準確度）為啥不用呢？
在網際網路廣告裡面，點選的數量是很少的，一般千分之幾，如果用acc，全部預測成負類（不點選）acc也有99%以上，根本無法評價。
其實最好的評估辦法是ABtest，但是ABtest是直接小流量上線，工作量大，再說線上系統又不能沒事老折騰，所以一個model要ABtest的話，這個model務必要是評價過是有好效果的。
二． ROC曲線繪製
下面先給一些基本定義，再說怎麼繪製ROC曲線。
2.1基本定義
以下的內容來自部落格《ROC曲線-閾值評價標準》。
考慮一個二分問題，即將例項分成正類（positive）或負類（negative）。對一個二分問題來說，會出現四種情況。如果一個例項是正類並且被預測成正類，即為真正類（True positive）,如果例項是負類被預測成正類，稱之為假正類（False positive）。相應地，如果例項是負類被預測成負類，稱之為真負類（True negative）,正類被預測成負類則為假負類（false negative）。
TP：真正類的數目；
FN：假負的數目；
FP：假正的數目；
TN：真負的數目；
列聯表如下表所示，1代表正類，0代表負類。
|
| 預測 |
| |
|
| 1 | 0 | 合計 |
實際 | 1 | True Positive（TP） | False Negative（FN） | Actual Positive(TP+FN) |
0 | False Positive（FP) | True Negative(TN) | Actual Negative(FP+TN) | |
合計 |
| Predicted Positive(TP+FP) | Predicted Negative(FN+TN) | TP+FP+FN+TN |
從列聯表引入兩個新名詞。其一是真正類率(true positive rate ,TPR), 計算公式為TPR=TP/ (TP+ FN)，刻畫的是分類器所識別出的正例項佔所有正例項的比例。另外一個是負正類率(false positive rate, FPR),計算公式為FPR= FP / (FP + TN)，計算的是分類器錯認為正類的負例項佔所有負例項的比例。還有一個真負類率（True Negative Rate，TNR），也稱為specificity,計算公式為TNR=TN/ (FP+ TN) = 1-FPR。
看個例子。
在網際網路廣告的點選率模型中，邏輯迴歸的輸出是一個[0,1]區間的連續值，這個值表示使用者點選某廣告的概率，這裡就涉及一個取捨問題了，這個概率值大於多少歸為正類。假如確定一個閥值，比如說 0.6，大於這個值的例項劃歸為正類，小於這個值則劃到負類中，那麼根據這個閾值0.6能算出一對TPR和FPR來。當然，正類樣本是很重要的，因為是點選資料，所以ctr預估模型要求是大部分正類都要識別出來。
為了完成這樣的工作，識別更多的正類，可以把閾值調低點，變成0.5，雖然能識別出更多的正類，也就是識別出更多的點選資料，但也帶來了問題，把很多不點選的樣本也識別成了正類，這樣也是不行的，有可能虧錢。從上面可以看出閾值也是很難定的，但對於某些廣告點選率系統來說，如搜尋廣告，並不需要定閾值，只需要知道排序，比如說預估的點選率最高的那個廣告實際點選率也比它下面的高就行了，因為會有很多候選廣告，只要出點選率最高的幾個，同時把點選率最高的（最相關的搜尋結果）放在第一個，其他的以此類推（按點選率從高到低排）就夠了（當然為了賺錢，會考慮一下價格的因素，把收益最高的廣告排在最前面）。
其實說白了，就是排序其實是很重要的，真正怎麼定那個閾值就相對沒那麼重要。所以評價這個點選率模型的好壞也不一定對預估出來的那個概率特別在意，倒是這個概率排在第幾個位置比較重要。那麼評價某個點選率模型好壞就不能用ACC來評估了，因為那樣對閾值有要求。
說到排序，一時半會難說清楚，先說說ROC曲線怎麼繪製的吧。說完怎麼繪製後，再說ROC曲線怎麼用來評價一個點選率模型（分類器）。
2.2 怎麼繪製
分三種情況吧。
假設有6次展示記錄，有兩次被點選了，得到一個展示序列（1:1,2:0,3:1,4:0,5:0,6:0），前面的表示序號，後面的表示點選（1）或沒有點選（0）。
然後在這6次展示的時候都通過model算出了點選的概率序列。
下面看三種情況。
一、如果概率的序列是（1:0.9,2:0.7,3:0.8,4:0.6,5:0.5,6:0.4）。
與原來的序列一起，得到序列（從概率從高到低排）
1 0.9
1 0.8
0 0.7
0 0.6
0 0.5
0 0.4
繪製的步驟是：
1）把概率序列從高到低排序，得到順序（1:0.9,3:0.8,2:0.7,4:0.6,5:0.5,6:0.4）；
2）從概率最大開始取一個點作為正類，取到點1，計算得到TPR=0.5 (1/2)，FPR=0.0 (0)；
3）從概率最大開始，再取一個點作為正類，取到點3，計算得到TPR=1.0 (2/2)，FPR=0.0 (0)；
4）再從最大開始取一個點作為正類，取到點2，計算得到TPR=1.0 (2/2)，FPR=0.25 (1/4);
5）以此類推，得到6對TPR和FPR。
然後把這6對資料組成6個點(0,0.5),(0,1.0),(0.25,1),(0.5,1),(0.75,1),(1.0,1.0)。
這6個點在二維座標系中能繪出來。
看看圖中，那個就是ROC曲線。
二、如果概率的序列是（1:0.9,2:0.8,3:0.7,4:0.6,5:0.5,6:0.4）。
與原來的序列一起，得到序列（從概率從高到低排）
1 0.9
0 0.8
1 0.7
0 0.6
0 0.5
0 0.4
繪製的步驟是：
6）把概率序列從高到低排序，得到順序（1:0.9,2:0.8,3:0.7,4:0.6,5:0.5,6:0.4）；
7）從概率最大開始取一個點作為正類，取到點1，計算得到TPR=0.5，FPR=0.0；
8）從概率最大開始，再取一個點作為正類，取到點2，計算得到TPR=0.5，FPR=0.25；
9）再從最大開始取一個點作為正類，取到點3，計算得到TPR=1.0，FPR=0.25;
10） 以此類推，得到6對TPR和FPR。
然後把這6對資料組成6個點(0,0.5),(0.25,0.5),(0.25,1),(0.5,1),(0.75,1),(1.0,1.0)。
這6個點在二維座標系中能繪出來。
看看圖中，那個就是ROC曲線。
三、如果概率的序列是（1:0.4,2:0.6,3:0.5,4:0.7,5:0.8,6:0.9）。
與原來的序列一起，得到序列（從概率從高到低排）
0 0.9
0 0.8
0 0.7
0 0.6
1 0.5
1 0.4
繪製的步驟是：
11） 把概率序列從高到低排序，得到順序（1:0.4,2:0.6,3:0.5,4:0.7,5:0.8,6:0.9）；
12） 從概率最大開始取一個點作為正類，取到點6，計算得到TPR=0.0，FPR=0.25；
13） 從概率最大開始，再取一個點作為正類，取到點5，計算得到TPR=0.0，FPR=0.5；
14） 再從最大開始取一個點作為正類，取到點4，計算得到TPR=0.0，FPR=0.75;
15） 以此類推，得到6對TPR和FPR。
然後把這6對資料組成6個點(0.25,0.0),(0.5,0.0),(0.75,0.0),(1.0,0.0),(1.0,0.5),(1.0,1.0)。
這6個點在二維座標系中能繪出來。
看看圖中，那個就是ROC曲線。
2.3 什麼意義
如上圖的例子，總共6個點，2個正樣本，4個負樣本，取一個正樣本和一個負樣本的情況總共有8種。
上面的第一種情況，從上往下取，無論怎麼取，正樣本的概率總在負樣本之上，所以分對的概率為1，AUC=1。再看那個ROC曲線，它的積分是什麼？也是1，ROC曲線的積分與AUC相等。
上面第二種情況，如果取到了樣本2和3，那就分錯了，其他情況都分對了；所以分對的概率是0.875，AUC=0.875。再看那個ROC曲線，它的積分也是0.875，ROC曲線的積分與AUC相等。
上面的第三種情況，無論怎麼取，都是分錯的，所以分對的概率是0，AUC=0.0。再看ROC曲線，它的積分也是0.0，ROC曲線的積分與AUC相等。
很牛吧，其實AUC的意思是——Area Under roc Curve，就是ROC曲線的積分，也是ROC曲線下面的面積。
繪製ROC曲線的意義很明顯，不斷地把可能分錯的情況扣除掉，從概率最高往下取的點，每有一個是負樣本，就會導致分錯排在它下面的所有正樣本，所以要把它下面的正樣本數扣除掉（1-TPR，剩下的正樣本的比例）。總的ROC曲線繪製出來了，AUC就定了，分對的概率也能求出來了。
致謝
參考文獻
[1] blog.csdn.net/chjjunking/… . chjjunking的部落格
[2] blog.csdn.net/abcjennifer… . 張睿卿的csdn部落格
文章來源：blog.csdn.net/mytestmy/ar…