【機器學習篇】--SVD從初始到應用

LHBlog發表於2018-06-12

SVD一般應用場景--推薦系統,影像壓縮。

1、直觀感受。

SVD其實就是將矩陣分界,直觀感受如圖。就是將A矩陣分界成U,S,V三個矩陣相乘。一般推薦系統中用的多。S是對角陣,裡面的特徵值是從大到小排列的。

2、前述知識。

一個矩陣乘以一個向量結果還是一個向量,並且等於原始向量的倍,相當於對原始向量進行一個某個方向上的拉伸。

 

 3、矩陣壓縮

                                    圖1

                                 圖2

 對圖1,圖2來說,假設m表示是樣本個數,n表示特徵個數,則抽取S特徵中比較重要的特徵值,(因為特徵值是從大到小排列的,所以假如抽取前幾個特徵值作為保留的特徵值),則S維度減少,變成r*r,則原始m*n矩陣分解成U ---m*r(比較瘦),S--r*r(方陣),V--r*n(比較長)三個矩陣相乘。

4、原理剖析

抓住主要變換方向,所以保留特徵值比較大的方向。

 

 5、例項講解一

SVD可解釋性比較差,需要去猜。

6、例項講解二(推薦系統)

U :6*2(6代表是Item個數)

V:4*2(4代表是使用者個數)

S:取前兩個比較重要的值

 

 

對映到二維圖中:找出最相似的使用者。

 

相關文章