運用sklearn進行線性判別分析(LDA)程式碼實現

Charzueus發表於2020-08-17

基於sklearn的線性判別分析(LDA)程式碼實現

一、前言及回顧

本文記錄使用sklearn庫實現有監督的資料降維技術——線性判別分析（LDA）。在上一篇LDA線性判別分析原理及python應用（葡萄酒案例分析），我們通過詳細的步驟理解LDA內部邏輯實現原理，能夠更好地掌握線性判別分析的內部機制。當然，在以後專案資料處理，我們有更高效的實現方法，這篇將記錄學習基於sklearn進行LDA資料降維，提高編碼速度，而且會感覺更加簡單。

LDA詳細介紹與各步驟實現請看上回：LDA線性判別分析原理及python應用（葡萄酒案例分析）。

學習之後可以對資料降維處理兩種實現方法進行對比：

無監督的PCA技術：主成分分析PCA資料降維原理及python應用（葡萄酒案例分析）
有監督的LDA技術：LDA線性判別分析原理及python應用（葡萄酒案例分析）

二、定義分類結果視覺化函式

這個函式與上一篇文章運用sklearn進行主成分分析(PCA)程式碼實現裡是一樣的，plot_decision_region函式在分類結果區別決策區域中可以複用。

def plot_decision_regions(x, y, classifier, resolution=0.02):
    markers = ['s', 'x', 'o', '^', 'v']
    colors = ['r', 'g', 'b', 'gray', 'cyan']
    cmap = ListedColormap(colors[:len(np.unique(y))])
 
    x1_min, x1_max = x[:, 0].min() - 1, x[:, 0].max() + 1
    x2_min, x2_max = x[:, 1].min() - 1, x[:, 1].max() + 1
    xx1, xx2 = np.meshgrid(np.arange(x1_min, x1_max, resolution), np.arange(x2_min, x2_max, resolution))
    z = classifier.predict(np.array([xx1.ravel(), xx2.ravel()]).T)
    z = z.reshape(xx1.shape)
    plt.contourf(xx1, xx2, z, alpha=0.4, cmap=cmap)
 
    for idx, cc in enumerate(np.unique(y)):
        plt.scatter(x=x[y == cc, 0],
                    y=x[y == cc, 1],
                    alpha=0.6,
                    c=cmap(idx),
                    edgecolor='black',
                    marker=markers[idx],
                    label=cc)

三、10行程式碼實現葡萄酒資料集分類

sklearn依然實現了LDA類方法，我們只需要直接呼叫而無需自己實現內部邏輯，這樣顯得更加方便。所以，10行程式碼實現也不為過，重點需要先理解內部邏輯原理。

關鍵程式碼如下：

lda = LDA(n_components=2)
lr = LogisticRegression()
x_train_lda = lda.fit_transform(x_train_std, y_train)  # LDA是有監督方法，需要用到標籤
x_test_lda = lda.fit_transform(x_test_std, y_test)   # 預測時候特徵向量正負問題，乘-1反轉映象
lr.fit(x_train_lda, y_train)
plot_decision_regions(x_train_pca, y_train, classifier=lr)
plt.xlabel('LD1')
plt.ylabel('LD2')
plt.legend(loc='lower left')
plt.show()

使用訓練集擬合模型之後，分類效果如何呢？

可以看到模型對訓練資料集精確地分類，比PCA效果好，因為LDA使用了資料集的標籤，是有監督的學習。

更準確來說，我們要看模型在測試集上的效果，對比如下：

可見，經過邏輯迴歸分類器，提取了兩個最具線性判別性的特徵，將包含13個特徵的葡萄酒資料集投影到二維子空間，實現了精確地分類。

四、完整程式碼

from sklearn.linear_model import LogisticRegression
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis as LDA
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
from matplotlib.colors import ListedColormap
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np
 
 
def plot_decision_regions(x, y, classifier, resolution=0.02):
    markers = ['s', 'x', 'o', '^', 'v']
    colors = ['r', 'g', 'b', 'gray', 'cyan']
    cmap = ListedColormap(colors[:len(np.unique(y))])
    x1_min, x1_max = x[:, 0].min() - 1, x[:, 0].max() + 1
    x2_min, x2_max = x[:, 1].min() - 1, x[:, 1].max() + 1
    xx1, xx2 = np.meshgrid(np.arange(x1_min, x1_max, resolution), np.arange(x2_min, x2_max, resolution))
    z = classifier.predict(np.array([xx1.ravel(), xx2.ravel()]).T)
    z = z.reshape(xx1.shape)
    plt.contourf(xx1, xx2, z, alpha=0.4, cmap=cmap)
 
    for idx, cc in enumerate(np.unique(y)):
        plt.scatter(x=x[y == cc, 0],
                    y=x[y == cc, 1],
                    alpha=0.6,
                    c=cmap(idx),
                    edgecolor='black',
                    marker=markers[idx],
                    label=cc)
 
 
def main():
    # load data
    df_wine = pd.read_csv('D:\\PyCharm_Project\\maching_learning\\wine_data\\wine.data', header=None)  # 本地載入
    # df_wine = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/wine/wine.data',
    #                       header=None)  # 伺服器載入
 
    # split the data，train：test=7:3
    x, y = df_wine.iloc[:, 1:].values, df_wine.iloc[:, 0].values
    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.3, stratify=y, random_state=0)
 
    # standardize the feature 標準化單位方差
    sc = StandardScaler()
    x_train_std = sc.fit_transform(x_train)
    x_test_std = sc.fit_transform(x_test)
 
    lda = LDA(n_components=2)
    lr = LogisticRegression()
    x_train_lda = lda.fit_transform(x_train_std, y_train)  # LDA是有監督方法，需要用到標籤
    x_test_lda = lda.fit_transform(x_test_std, y_test)  # 預測時候特徵向量正負問題，乘-1反轉映象
    lr.fit(x_train_lda, y_train)
    plt.figure(figsize=(6, 7), dpi=100)  # 畫圖高寬，畫素
    plt.subplot(2, 1, 1)
    plot_decision_regions(x_train_lda, y_train, classifier=lr)
    plt.title('Training Result')
    plt.xlabel('LD1')
    plt.ylabel('LD2')
    plt.legend(loc='lower left')
 
    plt.subplot(2, 1, 2)
    plot_decision_regions(x_test_lda, y_test, classifier=lr)
    plt.title('Testing Result')
    plt.xlabel('LD1')
    plt.ylabel('LD2')
    plt.legend(loc='lower left')
    plt.tight_layout()  # 子圖間距
    plt.show()
 
 
if __name__ == '__main__':
    main()