先簡單回顧下主成分析PCA(principle component analysis)與奇異值分解SVD(singular value decomposition)。
一、主成分析PCA
1、所解決問題
2、所依賴的原則
根據降維並減小資訊損失的目標，可以得出以下兩個原則
- 降維後的各個維度之間相互獨立，即去除降維之前樣本x中各個維度之間的相關性。
- 最大程度保持降維後的每個維度資料的多樣性，即最大化每個維度內的方差
3、問題求解方法
式1就是協方差矩陣C的特徵值分解，變換矩陣P即是矩陣C的前k個特徵向量按行組成的矩陣。所以，PCA的求解步驟為：
- 求X均值
- 將X減去均值
- 計算協方差矩陣C
- 對協方差矩陣C特徵值分解
- 從大到小排列C的特徵值
- 取前k個特徵值對應的特徵向量按行組成矩陣即為變換矩陣P
這裡的核心問題是協方差矩陣C的特徵值分解。