周志華《機器學習》課後習題解答系列（四）：Ch3.5 - 程式設計實現線性判別分析

本系列主要採用Python-sklearn實現，環境搭建可參考 資料探勘入門：Python開發環境搭建（eclipse-pydev模式）.

相關答案和原始碼託管在我的Github上：PnYuan/Machine-Learning_ZhouZhihua.

3.5 程式設計實現線性判別分析（LDA）

本題採用題3.3中的西瓜資料集如下圖示：

這裡採用基於sklearn和自己程式設計實現兩種方式實現線性判別分析（檢視完整程式碼）。

關於資料集的介紹：

具體過程如下：

1. 資料匯入、視覺化、預分析：

可以參照周志華《機器學習》課後習題解答系列（四）：Ch3.3 - 程式設計實現對率迴歸中的第一步。

2. 採用sklean得到線性判別分析模型：

採用sklearn.discriminant_analysis.LinearDiscriminantAnalysis直接實現基礎的LDA，通過分割資料集，在訓練集上訓練資料，在預測集上度量模型優劣。

給出樣例程式碼如下：

from sklearn import model_selection
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
from sklearn import metrics
import matplotlib.pyplot as plt

# generalization of train and test set
X_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=0.5, random_state=0)

# model fitting
lda_model = LinearDiscriminantAnalysis(solver='lsqr', shrinkage=None).fit(X_train, y_train)

# model validation
y_pred = lda_model.predict(X_test)

# summarize the fit of the model
print(metrics.confusion_matrix(y_test, y_pred))
print(metrics.classification_report(y_test, y_pred))

得出的混淆矩陣及相關度量結果如下：

[[4 1]
 [1 3]]
             precision    recall  f1-score   support

        0.0       0.80      0.80      0.80         5
        1.0       0.75      0.75      0.75         4

avg / total       0.78      0.78      0.78         9

可以看出，由於資料集的散度不太明顯，得出的類別判斷存在較大誤差。總體來看，這裡的線性判別分類器與3.3題的對率迴歸效能相當（accuracy≈0.78）。

基於matplotlib繪製出LDA的分類區域如下圖示：

可以看出，LDA的決策區域與3.3採用對率迴歸得到的結果相當。

3. 自己程式設計實現線性判別分析：

關於LDA的原理及引數求解，可參考書上p61、62。所謂線性判別。類似PCA，LDA可將較高維資料投影到較低維空間上，分析其降維後的資料特徵的類別區分情況。

這裡採用西瓜資料集，包含2個屬性（特徵），一個類標籤（二分類0、1）。在此上運用LDA，即是要找到最優直線，對映到直線上的資料特徵類分明顯。

如何區分類別呢？採用類內散度（within-class scatter）最小化，類間散度（between-class scatter）最大化，關於散度的定義參考書中p61式(3.33)和(3.34)。

優化目標為最大化下式（Sw-類內散度，Sb-類間散度，w-直線方向向量）：

我們的目的是最大化上面的式子，根據書中推導，最優解（直線引數）如下式：

相關詳細過程參考樹p61-62頁。

• 程式設計：根據式3.39計算w：

樣例程式碼如下：

# computing the d-dimensional mean vectors
import numpy as np

# 1-st. get the mean vector of each class
u = []  
for i in range(2): # two class
    u.append(np.mean(X[y==i], axis=0))  # column mean

# 2-nd. computing the within-class scatter matrix, refer on book (3.33)
m,n = np.shape(X)
Sw = np.zeros((n,n))
for i in range(m):
    x_tmp = X[i].reshape(n,1)  # row -> cloumn vector
    if y[i] == 0: u_tmp = u[0].reshape(n,1)
    if y[i] == 1: u_tmp = u[1].reshape(n,1)
    Sw += np.dot( x_tmp - u_tmp, (x_tmp - u_tmp).T )

# 3-th. computing the parameter w, refer on book (3.39)
# here we use singular value decomposition(SVD) to get the inverse of a ndarray
Sw = np.mat(Sw)
U, sigma, V= np.linalg.svd(Sw) 
Sw_inv = V.T * np.linalg.inv(np.diag(sigma)) * U.T

w = np.dot( Sw_inv, (u[0] - u[1]).reshape(n,1) )  
print(w)

• 繪製LDA直線並作資料點投影來檢視類簇情況：

通過繪製投影的方式，視覺化西瓜資料在LDA直線上類簇情況（檢視相關程式碼），如下圖示：

從上圖看出，由於資料線性不可分，則出現類簇重疊現象。接下來，通過觀查資料，我們考慮將西瓜資料集中的bad類離群點15刪去（即圖中左上的黑點）此時資料集的線性可分性大大提高。

然後再次採用LDA進行對映，得到結果圖如下：

可以看出，在資料集變得線性可分時，二維點到一維LDA直線的投影出現明顯的分類，此時LDA分類器效果很好。

綜上所述，由於西瓜資料集自身非線性因素，LDA所得直線未能很好的表現出類別的分簇情景，說明，LDA基本模型不太適用於線性不可分的情況。要擴充到非線性，或許可以考慮SVM-核技巧。

---

本文的一些重要索引如下：

• Linear Discriminant Analysis - 關於LDA的詳細介紹和本質剖析
• sklearn官網 - LDA for classfication