機器學習-ROC曲線：技術解析與實戰應用

techlead_krischang發表於2023-12-04
機器學習

本文全面探討了ROC曲線（Receiver Operating Characteristic Curve）的重要性和應用，從其歷史背景、數學基礎到Python實現以及關鍵評價指標。文章旨在提供一個深刻而全面的視角，以幫助您更好地理解和應用ROC曲線在模型評估中的作用。

關注TechLead，分享AI全維度知識。作者擁有10+年網際網路服務架構、AI產品研發經驗、團隊管理經驗，同濟本復旦碩，復旦機器人智慧實驗室成員，阿里雲認證的資深架構師，專案管理專業人士，上億營收AI產品研發負責人。

file

一、引言

機器學習和資料科學在解決複雜問題時，經常需要評估模型的效能。其中，ROC（Receiver Operating Characteristic）曲線是一種非常有用的工具，被廣泛應用於分類問題中。該工具不僅在醫學檢測、訊號處理中有著悠久的歷史，而且在近年來的機器學習應用中也顯得尤為關鍵。

ROC曲線簡介

ROC曲線用於展示在不同的分類閾值下，模型的真正類率（True Positive Rate, TPR）和假正類率（False Positive Rate, FPR）之間的關係。通常與ROC曲線一起使用的還有AUC（Area Under the Curve）值，用以量化ROC曲線下的面積，進而給出一個關於模型效能的單一指標。

二、ROC曲線的歷史背景

瞭解ROC曲線的歷史背景不僅能增加我們對這一工具的尊重，還能更好地理解它在多個領域內的應用價值。因此，本節將探討ROC曲線從最早的軍事應用到現代醫學和機器學習領域的發展過程。

二戰雷達訊號檢測

ROC曲線最初的應用場景是二戰中的雷達訊號檢測。當時，盟軍需要一種方法來評估雷達系統的效能——特別是系統在檢測敵方飛機時的靈敏度和誤報率。這就催生了ROC曲線的誕生，它用於度量在不同閾值下，雷達正確檢測到目標（True Positive）和誤報（False Positive）的情況。

在醫學和機器學習中的應用

隨著時間的推移，ROC曲線的應用場景逐漸擴大。在20世紀50年代和60年代，該曲線開始在心理測量學和醫學診斷中得到應用。比如，在癌症篩查中，ROC曲線用於評估在不同診斷閾值下，篩查測試對正例和負例的分類能力。

進入21世紀，隨著機器學習和資料科學的崛起，ROC曲線在這些領域內也獲得了廣泛應用。它成為了評估分類模型（如支援向量機、隨機森林和神經網路等）效能的標準方法之一。

橫跨多個領域的普及

值得注意的是，ROC曲線如今已經不僅侷限於專業的科研和工程領域。許多業界工具和庫（如Scikit-learn、TensorFlow和PyTorch等）都內建了繪製ROC曲線的功能，使得即使是不具備專門訓練的個人和小團隊也能輕易地應用這一工具。

三、數學基礎

file
在深入研究ROC曲線的實際應用之前，我們首先需要理解其背後的數學基礎。ROC曲線是建立在一系列重要的統計量之上的，包括True Positive Rate（TPR）和False Positive Rate（FPR）。本節將詳細介紹這些概念和計算方法，並提供相關Python程式碼示例。

True Positive Rate（TPR）與False Positive Rate（FPR）

True Positive Rate（TPR）

TPR也稱為靈敏度（Sensitivity）或召回率（Recall），是真正例（True Positive，TP）佔所有實際正例（實際正例 = TP + FN）的比例。

file

False Positive Rate（FPR）

FPR也稱為1-特異性（1-Specificity），是假正例（False Positive，FP）佔所有實際負例（實際負例 = FP + TN）的比例。

file

計算方法

計算TPR和FPR通常涉及到以下幾個步驟：

  1. 設定一個分類閾值。
  2. 使用分類模型對資料進行預測。
  3. 根據閾值將預測結果劃分為正例或負例。
  4. 計算TP, FP, TN, FN的數量。
  5. 使用上面的公式計算TPR和FPR。

程式碼示例：計算TPR和FPR

下面是一個用Python和PyTorch來計算TPR和FPR的簡單程式碼示例。

import torch

# 真實標籤和模型預測機率
y_true = torch.tensor([0, 1, 1, 0, 1])
y_pred = torch.tensor([0.2, 0.8, 0.6, 0.1, 0.9])

# 設定閾值
threshold = 0.5

# 根據閾值進行分類
y_pred_class = (y_pred > threshold).float()

# 計算TP, FP, TN, FN
TP = torch.sum((y_true == 1) & (y_pred_class == 1)).float()
FP = torch.sum((y_true == 0) & (y_pred_class == 1)).float()
TN = torch.sum((y_true == 0) & (y_pred_class == 0)).float()
FN = torch.sum((y_true == 1) & (y_pred_class == 0)).float()

# 計算TPR和FPR
TPR = TP / (TP + FN)
FPR = FP / (FP + TN)

print(f'TPR = {TPR}, FPR = {FPR}')

輸出：

TPR = 0.6667, FPR = 0.0

四、Python繪製ROC曲線

file
理論基礎明確之後，我們將轉向如何用Python實現ROC曲線的繪製。這裡，我們會使用Python的資料科學庫matplotlib和深度學習框架PyTorch進行展示。為了簡化問題，我們將使用一個簡單的二分類問題作為例子。

匯入所需庫

首先，讓我們匯入所有必要的庫。

import matplotlib.pyplot as plt
import torch
from sklearn.metrics import roc_curve, auc

準備資料

為了本教程的目的，我們假設已經有了模型預測的機率值和相應的真實標籤。

# 真實標籤
y_true = torch.tensor([0, 1, 1, 0, 1, 0, 1])

# 模型預測的機率值
y_score = torch.tensor([0.1, 0.9, 0.8, 0.2, 0.7, 0.05, 0.95])

計算ROC曲線座標點

利用sklearn.metrics庫的roc_curve函式可以方便地計算出ROC曲線的各個點。

fpr, tpr, thresholds = roc_curve(y_true, y_score)

計算AUC值

AUC（Area Under Curve）是ROC曲線下方的面積，通常用於量化模型的整體效能。

roc_auc = auc(fpr, tpr)

繪製ROC曲線

使用matplotlib進行繪圖。

plt.figure()
lw = 2  # 線寬
plt.plot(fpr, tpr, color='darkorange', lw=lw, label=f'ROC curve (area = {roc_auc:.2f})')
plt.plot([0, 1], [0, 1], color='navy', lw=lw, linestyle='--')
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Receiver Operating Characteristic Example')
plt.legend(loc='lower right')
plt.show()

這段程式碼會生成一個標準的ROC曲線，其中橙色的線表示ROC曲線，虛線表示隨機分類器的效能。

完整程式碼示例

以下是前面所有程式碼段的合併，形成一個完整的例子。

import matplotlib.pyplot as plt
import torch
from sklearn.metrics import roc_curve, auc

# 真實標籤和模型預測的機率
y_true = torch.tensor([0, 1, 1, 0, 1, 0, 1])
y_score = torch.tensor([0.1, 0.9, 0.8, 0.2, 0.7, 0.05, 0.95])

# 計算ROC曲線的各個點
fpr, tpr, thresholds = roc_curve(y_true, y_score)

# 計算AUC值
roc_auc = auc(fpr, tpr)

# 繪製ROC曲線
plt.figure()
lw = 2
plt.plot(fpr, tpr, color='darkorange', lw=lw, label=f'ROC curve (area = {roc_auc:.2f})')
plt.plot([0, 1], [0, 1], color='navy', lw=lw, linestyle='--')
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Receiver Operating Characteristic Example')
plt.legend(loc='lower right')
plt.show()

五、ROC曲線的評價指標

在深入瞭解如何繪製ROC曲線後，接下來我們將專注於如何使用ROC曲線來評價模型的效能。ROC曲線本身提供了一個直觀的方式來觀察模型在不同閾值下的效能，但除此之外，還有其他一些重要的評價指標。

AUC（Area Under Curve）

AUC是ROC曲線下的面積，範圍在0到1之間。AUC值可以用於總體評價模型的分類效能。

  • AUC = 1，表示模型有完美的分類效能。
  • 0.5 < AUC < 1，表示模型具有一定的分類能力。
  • AUC = 0.5，表示模型沒有分類能力，相當於隨機猜測。

AUC的計算通常使用數值積分方法，如梯形法則。

Youden's Index

file

F1 Score

雖然F1 Score不是直接從ROC曲線中獲得的，但它是一個與閾值相關的評價指標。它是精確率和召回率的調和平均。

file

程式碼示例：計算AUC和Youden's Index

以下Python程式碼段使用sklearn.metrics庫來計算AUC，並手動計算Youden's Index。

from sklearn.metrics import roc_curve, auc

# 計算ROC曲線
fpr, tpr, thresholds = roc_curve(y_true, y_score)

# 計算AUC
roc_auc = auc(fpr, tpr)
print(f'AUC: {roc_auc}')

# 計算Youden's Index
youdens_index = tpr - fpr
best_threshold = thresholds[torch.argmax(torch.tensor(youdens_index))]
print(f"Best threshold according to Youden's Index: {best_threshold}")

輸出：

AUC: 0.94
Best threshold according to Youden's Index: 0.7

六、總結

本文全面而深入地探討了ROC曲線的各個方面，從其歷史背景和數學基礎到具體的Python實現以及相關的評價指標。透過這一流程，我們不僅能更加深刻地理解ROC曲線作為一個模型評估工具的價值，而且還可以洞察到其在現代機器學習和資料科學中的應用廣度和深度。

技術洞見

雖然ROC曲線和AUC通常被視為分類模型效能的金標準，但值得注意的是，它們並不總是適用於所有場景。例如，在高度不平衡的資料集中，ROC曲線可能會給出過於樂觀的效能評估。這是因為ROC曲線對假正例和假負例的處理是平等的，而在不平衡資料集中，這種平等處理可能會掩蓋模型在較少類別上的效能不足。

另外，雖然ROC曲線能夠很好地評價模型的整體效能，但它並不能提供關於模型在不同類別或群體間公平性的資訊。在一些應用場景中，如醫療診斷和金融風險評估，模型的公平性是一個重要的考量因素。

展望未來

隨著機器學習和人工智慧技術的不斷髮展，評估模型效能的方法也在逐漸演化。在深度學習、自然語言處理和強化學習等領域，研究人員正在開發出更為複雜和精細的評價機制。因此，理解和掌握ROC曲線只是起點，未來還有更多富有挑戰性和創新性的工作等待我們去探索。

透過本文，我們希望能夠提供一個全面而深入的視角，以助您在複雜的模型評估問題中做出更加明智和準確的決策。正如資料科學中常說的，瞭解並正確使用各種評價指標，就是走向建模成功的關鍵第一步。

關注TechLead，分享AI全維度知識。作者擁有10+年網際網路服務架構、AI產品研發經驗、團隊管理經驗，同濟本復旦碩，復旦機器人智慧實驗室成員，阿里雲認證的資深架構師，專案管理專業人士，上億營收AI產品研發負責人。
如有幫助，請多關注
TeahLead KrisChang，10+年的網際網路和人工智慧從業經驗，10年+技術和業務團隊管理經驗，同濟軟體工程本科，復旦工程管理碩士，阿里雲認證雲服務資深架構師，上億營收AI產品業務負責人。

相關文章