08 特徵工程 - 特徵降維 - LDA

線性判斷分析(LDA)： LDA是一種基於分類模型進行特徵屬性合併的操作，是一種有監督的降維方法。

LDA原理

LDA的全稱是Linear Discriminant Analysis（線性判別分析），是一種有監督學習演算法。

LDA的原理是，將帶上標籤的資料（點），通過投影的方法，投影到維度更低的空間中，使得投影后的點，會形成按類別區分，一簇一簇的情況，相同類別的點，將會在投影后的空間中更接近。用一句話概括就是：“投影后類內方差最小，類間方差最大”

下圖中，左邊的對映效果還不是很好，甚至有些分類還重合到了一起。右邊的對映效果很好，達到了類內資料方差小，類與類之間方差大。

下圖中的柱狀圖 表示有多少點落在了這一區間內。柱越高，說明這部分的資料越稠密。顯然右邊的方差會小於左邊的方差。

---

如何求解LDA問題

假定轉換為w，那麼線性轉換函式為x’= w^Tx; 並且轉換後的資料是一維的。

考慮二元分類的情況，認為轉換後的值大於某個閾值，屬於某個類別，小於等於某個閾值，屬於另外一個類別，使用類別樣本的中心點來表示類別資訊，那麼這個時候其實就相當於讓這兩個中心的距離最遠：

μ_j 表示原本資料的中心點。
μ‘_j 表示原始資料經過座標軸轉換之後，新資料的中心點。

同時又要求劃分之後同個類別中的樣本資料儘可能的接近，也就是同類別的投影點的協方差要儘可能的小。

結合著兩者，那麼我們最終的目標函式就是：

對目標函式進行轉換（A、B為方陣，A為正定矩陣）：

該式子和PCA降維中的優化函式一模一樣，所以直接對中間的矩陣進行矩陣分解即可。

---

PCA和LDA

相同點：
1、 兩者均可以對資料完成降維操作。
2、 兩者在降維時候均使用矩陣分解的思想。
3、 兩者都假設資料符合高斯分佈。

不同點：
1、 LDA是監督降維演算法，PCA是無監督降維演算法。
2、 LDA降維最多降到類別數目k-1的維數，而PCA沒有限制。
3、 LDA除了降維外，還可以應用於分類。
4、 LDA選擇的是分類效能最好的投影，而PCA選擇樣本點投影具有最大方差的方向。