python中的scikit-learn庫來實現SVM分類器。

redufa發表於2024-10-15
Python

使用Python中的scikit-learn庫來實現SVM分類器。

支援向量機（SVM）基本概念

支援向量機是一種監督學習演算法，用於分類和迴歸分析。SVM的核心思想是在特徵空間中找到一個超平面，這個超平面能夠最大化地分隔不同類別的資料點。

SVM的關鍵概念：

  1. 超平面（Hyperplane）：在n維空間中，超平面是n-1維的決策邊界。
  2. 間隔（Margin）：超平面兩側最近的資料點（支援向量）到超平面的距離。
  3. 支援向量（Support Vectors）：那些位於間隔邊界上的資料點，它們決定了超平面的位置和方向。
  4. 核函式（Kernel Function）：允許SVM在高維空間中處理非線性問題。

簡化的SVM演算法步驟：

  1. 選擇核函式：根據資料的特性選擇合適的核函式，如線性核、多項式核、徑向基函式（RBF）等。
  2. 構建最佳化問題：構建一個最佳化問題，目標是最大化間隔。
  3. 求解對偶問題：使用拉格朗日乘子法將原始問題轉化為對偶問題，然後求解對偶問題。
  4. 計算支援向量：從對偶問題中找出支援向量。
  5. 確定超平面：使用支援向量計算超平面的引數。
  6. 分類新資料：使用確定的超平面對新資料進行分類。

使用scikit-learn實現SVM

以下是使用Python的scikit-learn庫實現SVM分類器的示例程式碼：

from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.metrics import accuracy_score
import numpy as np

# 載入資料集
iris = datasets.load_iris()
X = iris.data
y = iris.target

# 劃分訓練集和測試集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 建立SVM分類器
# kernel可以是'linear', 'poly', 'rbf', 'sigmoid', 'precomputed'等
clf = SVC(kernel='rbf', C=1.0, gamma='auto')

# 訓練模型
clf.fit(X_train, y_train)

# 預測測試集
y_pred = clf.predict(X_test)

# 計算準確率
accuracy = accuracy_score(y_test, y_pred)
print(f"Accuracy: {accuracy:.2f}")

在這個例子中，我們使用了RBF核函式的SVM分類器來處理Iris資料集。C 引數是正則化引數，gamma 引數是核函式的係數。fit 方法用於訓練模型，predict 方法用於對測試集進行預測。

請注意，手寫實現SVM演算法需要深入理解最佳化問題和數值計算方法，這通常涉及到複雜的數學推導和程式設計技巧。上述程式碼展示瞭如何使用現成的庫來應用SVM，而不是從零開始實現SVM演算法。

相關文章