深入理解PCA與SVD的關係

先簡單回顧下主成分析PCA(principle component analysis)與奇異值分解SVD(singular value decomposition)。

一、主成分析PCA

1、所解決問題

2、所依賴的原則

根據降維並減小資訊損失的目標，可以得出以下兩個原則

• 降維後的各個維度之間相互獨立，即去除降維之前樣本x中各個維度之間的相關性。
• 最大程度保持降維後的每個維度資料的多樣性，即最大化每個維度內的方差

3、問題求解方法

式1就是協方差矩陣C的特徵值分解，變換矩陣P即是矩陣C的前k個特徵向量按行組成的矩陣。所以，PCA的求解步驟為：

1. 求X均值
2. 將X減去均值
3. 計算協方差矩陣C
4. 對協方差矩陣C特徵值分解
5. 從大到小排列C的特徵值
6. 取前k個特徵值對應的特徵向量按行組成矩陣即為變換矩陣P

這裡的核心問題是協方差矩陣C的特徵值分解。

二、奇異值分解SVD

1、所解決問題

2、問題求解方法

三、PCA與SVD的關係