從拉普拉斯矩陣說到譜聚類

0 引言

    11月1日上午，機器學習班 第7次課，鄒講聚類（PPT），其中的譜聚類引起了自己的興趣，鄒從最基本的概念：單位向量、兩個向量的正交、方陣的特徵值和特徵向量，講到相似度圖、拉普拉斯矩陣，最後講譜聚類的目標函式和其演算法流程。

    課後自己又琢磨了番譜聚類跟拉普拉斯矩陣，打算寫篇部落格記錄學習心得， 若有不足或建議，歡迎隨時不吝指出，thanks。

1 矩陣基礎

    在講譜聚類之前，有必要了解一些矩陣方面的基礎知識。

1.0 理解矩陣的12點數學筆記

    如果對矩陣的概念已經模糊，推薦國內一人寫的《理解矩陣by孟巖》系列，其中，丟擲了很多有趣的觀點，我之前在閱讀的過程中做了些筆記，如下：

“1、簡而言之：矩陣是線性空間裡的變換的描述，相似矩陣則是對同一個線性變換的不同描述。那，何謂空間？本質而言，“空間是容納運動的一個物件集合，而變換則規定了對應空間的運動”by孟巖。線上性空間選定基後，向量刻畫物件的運動，運動則通過矩陣與向量相乘來施加。然，到底什麼是基？座標系也。

1.1 一堆基礎概念

    根據wikipedia的介紹，在矩陣中，n階單位矩陣，是一個的方形矩陣，其主對角線元素為1，其餘元素為0。單位矩陣以表示；如果階數可忽略，或可由前後文確定的話，也可簡記為（或者E）。 如下圖所示，便是一些單位矩陣：

    單位矩陣中的第列即為單位向量。單位向量同時也是單位矩陣的特徵向量，特徵值皆為1，因此這是唯一的特徵值，且具有重數n。由此可見，單位矩陣的行列式為1，且跡數為n。 

    

    單位向量又是什麼呢？數學上，賦範向量空間中的單位向量就是長度為 1 的向量。歐幾里得空間中，兩個單位向量的點積就是它們之間角度的餘弦（因為它們的長度都是 1）。

    一個非零向量的正規化向量（即單位向量）就是平行於的單位向量，記作：

    這裡是的範數（長度）。

    何謂點積？點積又稱內積，兩個向量 = [a1, a2,…, an]和 = [b1, b2,…, bn]的點積定義為：

    這裡的指示矩陣的轉置。使用上面的例子，將一個1×3矩陣（就是行向量）乘以一個3×1向量得到結果(通過矩陣乘法的優勢得到1×1矩陣也就是標量)：

    除了上面的代數定義外，點積還有另外一種定義：幾何定義。在歐幾里得空間中，點積可以直觀地定義為：

    這裡||表示的模（長度），θ表示兩個向量之間的角度。 根據這個定義式可得：兩個互相垂直的向量的點積總是零。若和都是單位向量（長度為1），它們的點積就是它們的夾角的餘弦。 

    正交是垂直這一直觀概念的推廣，若內積空間中兩向量的內積（即點積）為0，則稱它們是正交的，相當於這兩向量垂直，換言之，如果能夠定義向量間的夾角，則正交可以直觀的理解為垂直。而正交矩陣（orthogonal matrix）是一個元素為實數，而且行與列皆為正交的單位向量的方塊矩陣（方塊矩陣，或簡稱方陣，是行數及列數皆相同的矩陣。）

    若數字和非零向量滿足，則為的一個特徵向量，是其對應的特徵值。 換句話說，在這個方向上，做的事情無非是把沿其的方向拉長/縮短了一點（而不是毫無規律的多維變換），則是表示沿著這個方向上拉伸了多少的比例。 簡言之，對做了手腳，使得向量變長或變短了，但本身的方向不變。

     矩陣的跡是矩陣的對角線元素之和，也是其個特徵值之和。 

2 拉普拉斯矩陣

2.1 Laplacian matrix的定義

    拉普拉斯矩陣（Laplacian matrix)），也稱為基爾霍夫矩陣, 是表示圖的一種矩陣。給定一個有n個頂點的圖，其拉普拉斯矩陣被定義為:

    其中為圖的度矩陣，為圖的鄰接矩陣。

    把此“圖”轉換為鄰接矩陣的形式，記為：

    把的每一列元素加起來得到個數，然後把它們放在對角線上（其它地方都是零），組成一個的對角矩陣，記為度矩陣，如下圖所示：

    根據拉普拉斯矩陣的定義，可得拉普拉斯矩陣 為：

2.2 拉普拉斯矩陣的性質  

    其中，定義為節點到節點的權值，如果兩個節點不是相連的，權值為零。
    ②與某結點鄰接的所有邊的權值和定義為該頂點的度d，多個d 形成一個度矩陣 （對角陣）

    拉普拉斯矩陣 具有如下性質：

    其中，，，。

3 譜聚類

3.1 相關定義

3.2 目標函式

   

    設為圖的幾個子集（它們沒有交集） ，為了讓分割的Cut 值最小，譜聚類便是要最小化下述目標函式： 

    其中k表示分成k個組， 表示第i個組，表示 的補集，表示第 組與第組之間的所有邊的權重之和（換言之，如果要分成K個組，那麼其代價就是進行分割時去掉的邊的權值的總和）。

    為了讓被切斷邊的權值之和最小，便是要讓上述目標函式最小化。但很多時候，最小化cut 通常會導致不好的分割。以分成2類為例，這個式子通常會將圖分成了一個點和其餘的n-1個點。如下圖所示，很明顯，最小化的smallest cut不是最好的cut，反而把{A、B、C、H}分為一邊，{D、E、F、G}分為一邊很可能就是最好的cut：

    為了讓每個類都有合理的大小，目標函式儘量讓A1,A2...Ak 足夠大。改進後的目標函式為：

    其中|A|表示A組中包含的頂點數目。

   或：

    其中，。

3.3 最小化RatioCut  與最小化等價

    下面，我們們來重點研究下RatioCut 函式。

    目標函式：
    定義向量，且：

    根據之前得到的拉普拉斯矩陣矩陣的性質，已知

    現在把的定義式代入上式，我們將得到一個非常有趣的結論！推導過程如下：

    是的，我們竟然從推出了RatioCut，換句話說，拉普拉斯矩陣L 和我們要優化的目標函式RatioCut 有著密切的聯絡。更進一步說，因為是一個常量，所以最小化RatioCut，等價於最小化。

    同時，因單位向量的各個元素全為1，所以直接展開可得到約束條件：且，具體推導過程如下：

    最終我們新的目標函式可以由之前的，寫成：

    其中，，且因，所以有：f'f = n（注：f是列向量的前提下，f'f是一個值，實數值，ff'是一個N*N的矩陣）。

    繼續推導前，再次提醒特徵向量和特徵值的定義：

• 若數字和非零向量滿足，則為的一個特徵向量，是其對應的特徵值。

    假定  =  ，此刻，是特徵值， 是 的特徵向量。兩邊同時左乘，得到 = ，而f'f=n，其中n為圖中頂點的數量之和，因此 = n，因n是個定值，所以要最小化，相當於就是要最小化。因此，接下來，我們只要找到 的最小特徵值及其對應的特徵向量即可。

    但到了這關鍵的最後一步，我們們卻遇到了一個比較棘手的問題，即由之前得到的拉普拉斯矩陣的性質“最小的特徵值為零，並且對應的特徵向量正好為”可知：其不滿足的條件，因此，怎麼辦呢？根據論文“A Tutorial on Spectral Clustering”中所說的Rayleigh-Ritz 理論，我們可以取第2小的特徵值，以及對應的特徵向量。 

    更進一步，由於實際中，特徵向量 裡的元素是連續的任意實數，所以可以根據 是大於0，還是小於0對應到離散情況下的，決定 是取，還是取。而如果能求取 的前K個特徵向量，進行K-means聚類，得到K個簇，便從二聚類擴充套件到了K 聚類的問題。

    就這樣，因為離散求解很困難，但RatioCut 巧妙地把一個NP難度的問題轉換成拉普拉斯矩陣特徵值（向量）的問題，將離散的聚類問題鬆弛為連續的特徵向量，最小的系列特徵向量對應著圖最優的系列劃分方法。剩下的僅是將鬆弛化的問題再離散化，即將特徵向量再劃分開，便可以得到相應的類別。不能不說妙哉！

3.4 譜聚類演算法過程

    綜上可得譜聚類的演算法過程如下：

1. 根據資料構造一個Graph，Graph的每一個節點對應一個資料點，將各個點連線起來（隨後將那些已經被連線起來但並不怎麼相似的點，通過cut/RatioCut/NCut 的方式剪開），並且邊的權重用於表示資料之間的相似度。把這個Graph用鄰接矩陣的形式表示出來，記為 。
2. 把的每一列元素加起來得到個數，把它們放在對角線上（其他地方都是零），組成一個的對角矩陣，記為度矩陣，並把 - 的結果記為拉普拉斯矩陣。
3. 求出的前個特徵值（前個指按照特徵值的大小從小到大排序得到），以及對應的特徵向量。
4. 把這個特徵（列）向量排列在一起組成一個的矩陣，將其中每一行看作維空間中的一個向量，並使用 K-means 演算法進行聚類。聚類的結果中每一行所屬的類別就是原來 Graph 中的節點亦即最初的個資料點分別所屬的類別。

    或許你已經看出來，譜聚類的基本思想便是利用樣本資料之間的相似矩陣（拉普拉斯矩陣）進行特徵分解（ 通過Laplacian Eigenmap 的降維方式降維），然後將得到的特徵向量進行 K-means聚類。

    此外，譜聚類和傳統的聚類方法（例如 K-means）相比，譜聚類只需要資料之間的相似度矩陣就可以了，而不必像K-means那樣要求資料必須是 N 維歐氏空間中的向量。

4 參考文獻與推薦閱讀