## 1. 聚類演算法都是無監督學習嗎?

什麼是聚類演算法？聚類是一種機器學習技術，它涉及到資料點的分組。給定一組資料點，我們可以使用聚類演算法將每個資料點劃分為一個特定的組。理論上，同一組中的資料點應該具有相似的屬性和/或特徵，而不同組中的資料點應該具有高度不同的屬性和/或特徵。**聚類是一種無監督學習的方法**，是許多領域中常用的統計資料分析技術。

常用的演算法包括**K-MEANS、高斯混合模型（Gaussian Mixed Model，GMM）、自組織對映神經網路（Self-Organizing Map，SOM）**

## 2. k-means(k均值)演算法

### 2.1 演算法過程

K-均值是最普及的聚類演算法，演算法接受一個未標記的資料集，然後將資料聚類成不同的組。

K-均值是一個迭代演算法，假設我們想要將資料聚類成 n 個組，其方法為:

- 首先選擇?個隨機的點，稱為聚類中心（cluster centroids）；
- 對於資料集中的每一個資料，按照距離?箇中心點的距離，將其與距離最近的中心點關聯起來，與同一個中心點關聯的所有點聚成一類。
- 計算每一個組的平均值，將該組所關聯的中心點移動到平均值的位置。
- 重複步驟，直至中心點不再變化。

用  ![](https://latex.codecogs.com/gif.latex?u^1,u^2,...,u^k)來表示聚類中心，用?(1),?(2),...,?(?)來儲存與第?個例項資料最近的聚類中心的索引，K-均值演算法的虛擬碼如下：

```
Repeat {
    for i = 1 to m
    c(i) := index (form 1 to K) of cluster centroid closest to x(i)
    for k = 1 to K
    μk := average (mean) of points assigned to cluster k
}
```

演算法分為兩個步驟，第一個 for 迴圈是賦值步驟，即：對於每一個樣例?，計算其應該屬於的類。第二個 for 迴圈是聚類中心的移動，即：對於每一個類?，重新計算該類的質心。

K-均值演算法也可以很便利地用於將資料分為許多不同組，即使在沒有非常明顯區分的組群的情況下也可以。下圖所示的資料集包含身高和體重兩項特徵構成的，利用 K-均值演算法將資料分為三類，用於幫助確定將要生產的 T-恤衫的三種尺寸。

![](http://wx3.sinaimg.cn/mw690/00630Defly1g5b746zwjgj30fh0c7gnj.jpg)

### 2.2 損失函式

K-均值最小化問題，是要最小化所有的資料點與其所關聯的聚類中心點之間的距離之和，因此 K-均值的代價函式（又稱畸變函式 Distortion function）為：

![](http://wx2.sinaimg.cn/mw690/00630Defgy1g5bu9wfwotj30jp01tq2v.jpg)

其中 ![](https://latex.codecogs.com/gif.latex?u_{c^{(i)}})代表與 ![](https://latex.codecogs.com/gif.latex?x^{(i)})最近的聚類中心點。 我們的的最佳化目標便是找出使得代價函式最小的 ![](https://latex.codecogs.com/gif.latex?c^{(1)},c^{(2)},...,c^{(m)})和 ![](https://latex.codecogs.com/gif.latex?u_1,u_2,...,u_k)。

### 2.3 k值的選擇

在執行 K-均值演算法的之前，我們首先要隨機初始化所有的聚類中心點，下面介紹怎樣做：
1. 我們應該選擇? < ?，即聚類中心點的個數要小於所有訓練集例項的數量。
2. 隨機選擇?個訓練例項，然後令?個聚類中心分別與這?個訓練例項相等K-均值的一個問題在於，它有可能會停留在一個區域性最小值處，而這取決於初始化的情況。

為了解決這個問題，我們通常需要多次執行 K-均值演算法，每一次都重新進行隨機初始化，最後再比較多次執行 K-均值的結果，選擇代價函式最小的結果。這種方法在?較小的時候（2--10）還是可行的，**但是如果?較大，這麼做也可能不會有明顯地改善。**

沒有所謂最好的選擇聚類數的方法，通常是需要根據不同的問題，人工進行選擇的。選擇的時候思考我們運用 K-均值演算法聚類的動機是什麼。有一個可能會談及的方法叫作**“肘部法則”**。關 於“肘部法則”，我們所需要做的是改變?值，也就是聚類類別數目的總數。我們用一個聚類來執行 K 均值聚類方法。這就意味著，所有的資料都會分到一個聚類裡，然後計算成本函式或者計算畸變函式?。?代表聚類數字。

![](http://wx2.sinaimg.cn/mw690/00630Defly1g5b7pbaeavj30qo0cwtc9.jpg)

我們可能會得到一條類似於這樣的曲線。像一個人的肘部。這就是“肘部法則”所做的，讓我們來看這樣一個圖，看起來就好像有一個很清楚的肘在那兒。你會發現這種模式，它的畸變值會迅速下降，從 1 到 2，從 2 到 3 之後，你會在 3 的時候達到一個肘點。在此之後，畸變值就下降的非常慢，看起來就像使用 3 個聚類來進行聚類是正確的，**這是因為那個點是曲線的肘點，畸變值下降得很快，? = 3之後就下降得很慢，那麼我們就選? = 3。**當你應用“肘部法則”的時候，如果你得到了一個像上面這樣的圖，那麼這將是一種用來選擇聚類個數的合理方法。

### 2.4 KNN與K-means區別？

K最近鄰(k-Nearest Neighbor，KNN)分類演算法，是一個理論上比較成熟的方法，也是最簡單的機器學習演算法之一。

| KNN                                                          | K-Means                                                      |
| :----------------------------------------------------------- | :----------------------------------------------------------- |
| 1.KNN是分類演算法<br>2.屬於監督學習<br>3.訓練資料集是帶label的資料 | 1.K-Means是聚類演算法<br>2.屬於非監督學習<br>3.訓練資料集是無label的資料，是雜亂無章的，經過聚類後變得有序，先無序，後有序。 |
| 沒有明顯的前期訓練過程，屬於memory based learning            | 有明顯的前期訓練過程                                         |
| K的含義：一個樣本x，對它進行分類，就從訓練資料集中，在x附近找離它最近的K個資料點，這K個資料點，類別c佔的個數最多，就把x的label設為c。 | K的含義：K是人工固定好的數字，假設資料集合可以分為K個蔟，那麼就利用訓練資料來訓練出這K個分類。 |

**相似點**

都包含這樣的過程，給定一個點，在資料集中找離它最近的點。即二者都用到了NN(Nears Neighbor)演算法思想。

### 2.5 K-Means優缺點及改進

k-means：在大資料的條件下，會耗費大量的時間和記憶體。 最佳化k-means的建議：

1. 減少聚類的數目K。因為，每個樣本都要跟類中心計算距離。

2. 減少樣本的特徵維度。比如說，透過PCA等進行降維。

3. 考察其他的聚類演算法，透過選取toy資料，去測試不同聚類演算法的效能。

4. hadoop叢集，K-means演算法是很容易進行平行計算的。

5. 演算法可能找到區域性最優的聚類，而不是全域性最優的聚類。使用改進的二分k-means演算法。

二分k-means演算法：首先將整個資料集看成一個簇，然後進行一次k-means（k=2）演算法將該簇一分為二，並計算每個簇的誤差平方和，選擇平方和最大的簇迭代上述過程再次一分為二，直至簇數達到使用者指定的k為止，此時可以達到的全域性最優。

## 3. 高斯混合模型(GMM)

### 3.1 GMM的思想

高斯混合模型（Gaussian Mixed Model，GMM）也是一種常見的聚類演算法，與K均值演算法類似，同樣使用了EM演算法進行迭代計算。高斯混合模型假設每個簇的資料都是符合高斯分佈（又叫正態分佈）的，當前**資料呈現的分佈就是各個簇的高斯分佈疊加在一起的結果。**

第一張圖是一個資料分佈的樣例，如果只用一個高斯分佈來擬合圖中的資料，圖 中所示的橢圓即為高斯分佈的二倍標準差所對應的橢圓。直觀來說，圖中的資料 明顯分為兩簇，因此只用一個高斯分佈來擬和是不太合理的，需要推廣到用多個 高斯分佈的疊加來對資料進行擬合。第二張圖是用兩個高斯分佈的疊加來擬合得到的結果。**這就引出了高斯混合模型，即用多個高斯分佈函式的線形組合來對資料分佈進行擬合。**理論上，高斯混合模型可以擬合出任意型別的分佈。

![](http://wx4.sinaimg.cn/mw690/00630Defly1g5b8mu9mjmj30iu0apjuh.jpg)

![](http://wx3.sinaimg.cn/mw690/00630Defly1g5b8ms101aj30id0aswhh.jpg)

高斯混合模型的核心思想是，假設資料可以看作從多個高斯分佈中生成出來 的。在該假設下，每個單獨的分模型都是標準高斯模型，其均值 $u_i$ 和方差 $\sum_i$ 是待估計的引數。此外，每個分模型都還有一個引數 $\pi_i$，可以理解為權重或生成資料的概 率。高斯混合模型的公式為：

![](https://latex.codecogs.com/gif.latex?p(x)=\sum_{i=1}^{k}\pi_iN(x|u_i,\sum_i))

通常我們並不能直接得到高斯混合模型的引數，而是觀察到了一系列 資料點，給出一個類別的數量K後，希望求得最佳的K個高斯分模型。因此，高斯 混合模型的計算，便成了最佳的均值μ，方差Σ、權重π的尋找，這類問題通常透過 最大似然估計來求解。遺憾的是，此問題中直接使用最大似然估計，得到的是一 個複雜的非凸函式，目標函式是和的對數，難以展開和對其求偏導。

**在這種情況下，可以用EM演算法。 **EM演算法是在最大化目標函式時，先固定一個變數使整體函式變為凸最佳化函式，求導得到最值，然後利用最優引數更新被固定的變數，進入下一個迴圈。具體到高 斯混合模型的求解，EM演算法的迭代過程如下。

首先，初始隨機選擇各引數的值。然後，重複下述兩步，直到收斂。

- E步驟。根據當前的引數，計算每個點由某個分模型生成的機率。 
- M步驟。使用E步驟估計出的機率，來改進每個分模型的均值，方差和權重。

> 高斯混合模型是一個生成式模型。可以這樣理解資料的生成過程，假設一個最簡單的情況，即只有兩個一維標準高斯分佈的分模型*N*(0,1)和*N*(5,1)，其權重分別為0.7和0.3。那麼，在生成第一個資料點時，先按照權重的比例，隨機選擇一個分佈，比如選擇第一個高斯分佈，接著從*N*(0,1)中生成一個點，如−0.5，便是第一個資料點。在生成第二個資料點時，隨機選擇到第二個高斯分佈*N*(5,1)，生成了第二個點4.7。如此迴圈執行，便生成出了所有的資料點。

也就是說，我們並不知道最佳的K個高斯分佈的各自3個引數，也不知道每個 資料點究竟是哪個高斯分佈生成的。所以每次迴圈時，先固定當前的高斯分佈不 變，獲得每個資料點由各個高斯分佈生成的機率。然後固定該生成機率不變，根據資料點和生成機率，獲得一個組更佳的高斯分佈。迴圈往復，直到引數的不再變化，或者變化非常小時，便得到了比較合理的一組高斯分佈。

### 3.2 GMM與K-Means相比

高斯混合模型與K均值演算法的相同點是：

- 它們都是可用於聚類的演算法；
- 都需要 指定K值；
- 都是使用EM演算法來求解；
- 都往往只能收斂於區域性最優。

而它相比於K 均值演算法的優點是，可以給出一個樣本屬於某類的機率是多少；不僅僅可以用於聚類，還可以用於機率密度的估計；並且可以用於生成新的樣本點。

## 4. 聚類演算法如何評估

由於資料以及需求的多樣性，沒有一種演算法能夠適用於所有的資料型別、數 據簇或應用場景，似乎每種情況都可能需要一種不同的評估方法或度量標準。例 如，K均值聚類可以用誤差平方和來評估，但是基於密度的資料簇可能不是球形， 誤差平方和則會失效。在許多情況下，判斷聚類演算法結果的好壞強烈依賴於主觀 解釋。儘管如此，聚類演算法的評估還是必需的，它是聚類分析中十分重要的部分之一。

聚類評估的任務是估計在資料集上進行聚類的可行性，以及聚類方法產生結 果的質量。這一過程又分為三個子任務。

1. **估計聚類趨勢。**

這一步驟是檢測資料分佈中是否存在非隨機的簇結構。如果資料是基本隨機 的，那麼聚類的結果也是毫無意義的。我們可以觀察聚類誤差是否隨聚類類別數 量的增加而單調變化，如果資料是基本隨機的，即不存在非隨機簇結構，那麼聚 類誤差隨聚類類別數量增加而變化的幅度應該較不顯著，並且也找不到一個合適 的K對應資料的真實簇數。

2. **判定資料簇數。**

確定聚類趨勢之後，我們需要找到與真實資料分佈最為吻合的簇數，據此判定聚類結果的質量。資料簇數的判定方法有很多，例如手肘法和Gap Statistic方 法。需要說明的是，用於評估的最佳資料簇數可能與程式輸出的簇數是不同的。 例如，有些聚類演算法可以自動地確定資料的簇數，但可能與我們透過其他方法確 定的最優資料簇數有所差別。

3. **測定聚類質量。**

在無監督的情況下，我們可以透過考察簇的分離情況和簇的緊 湊情況來評估聚類的效果。定義評估指標可以展現面試者實際解決和分析問題的 能力。事實上測量指標可以有很多種，以下列出了幾種常用的度量指標，更多的 指標可以閱讀相關文獻。

輪廓係數、均方根標準偏差、R方（R-Square）、改進的HubertΓ統計。

## 5. 程式碼實現

[高斯混合模型程式碼](https://github.com/NLP-LOVE/ML-NLP/blob/master/Machine%20Learning/7.%20Clustering/GMM.ipynb)

[K-Means程式碼](https://github.com/NLP-LOVE/ML-NLP/blob/master/Machine%20Learning/7.%20Clustering/K-Means.ipynb)

> 作者：[@mantchs](https://github.com/NLP-LOVE/ML-NLP)
>
> GitHub：[https://github.com/NLP-LOVE/ML-NLP](https://github.com/NLP-LOVE/ML-NLP)
>
> 歡迎大家加入討論！共同完善此專案！群號：【541954936】<a target="_blank" href="http://shang.qq.com/wpa/qunwpa?idkey=863f915b9178560bd32ca07cd090a7d9e6f5f90fcff5667489697b1621cecdb3" rel="nofollow"><img border="0" src="http://pub.idqqimg.com/wpa/images/group.png" alt="NLP面試學習群" title="NLP面試學習群" width="640" height="360"></a>

K-Means(K均值)、GMM(高斯混合模型)，通俗易懂，先收藏了！

相關文章