Paper Information
Title：《Improved Deep Embedded Clustering with Local Structure Preservation》
Authors：Xifeng Guo, Long Gao, Xinwang Liu, Jianping Yin
Sources：2017, IJCAI
Other：69 Citations, 71 References
Paper：Download
Code：Download
Abstract
本文解決的問題：先前根據不同情況設計聚類損失函式的工作可能破壞了特徵空間，產生無意義的特徵表示從而降低了聚類效能。
本文解決的思路：
-
- 使用聚類損失函式指導代表特徵空間的 points 分佈；
- 採用 under-complete autoencoder 維護資料的區域性結構；
- 聯合 聚類損失 和 AE 損失 來訓練。
1 Introduction
聚類任務的劃時代傑作：
-
- 1967 MacQueen 的 k-means ；
- 2006 Bishop 的 gaussian mixture model ；
- 2007 Von Luxburg 的 spectral clustering ；
由於輸入資料的維度很大，通常會有很多不可靠的特徵資料，這嚴重影響力聚類效果。所以一個被普遍接受的想法是：將高維空間的輸入資料對映到低維空間，然後再進行聚類。
Q1：為什麼傳統降維方法如 PCA 、LDA等學習表示的能力有限？
A1：知道的可以再評論區抒發見解。
由於深度學習的發展，DNN model 能很好的實現 feature transformation ，學到有用的表示。
然後介紹 DEC ，可以參考《論文解讀（DEC）Unsupervised Deep Embedding for Clustering Analysis》。
本文貢獻：
-
- 提出了一種深度聚類演算法，可以聯合進行聚類和學習具有區域性結構儲存的代表性特徵。
- 通過實證證明了區域性結構儲存在深度聚類中的重要性。
- IDEC 在很大的優勢上優於最新的對手。
2 Related Work
2.1 Deep Clustering
目前階段的聚類演算法：
- Two-stage work that applies clustering after having learned a representation；[ 該方法基於良好的表示 ]
- Approaches that jointly optimize the feature learning and clustering；[ 特徵學習的時候同時進行聚類 ]
對於 1 舉例：
-
- Tian et al., 2014 ：先使用 AE 學到低維有用表示，然後使用 k-means 進行聚類；
- Chen, 2015 ：層級訓練深度信念網路(DBN)，然後將 non-parametric maximum-margin 聚類應用於學習到的中間表示；
- Peng et al., 2016 ： 使用稀疏自編碼器，同時自適應學習區域性和全域性結構資訊的表示，再採用傳統的聚類演算法進行聚類；
對於 2 舉例：
-
- Yang et al., 2016 ：proposes a recurrent framework in deep representations and image clusters, which integrates two processes into a single model with a unified weighted triplet loss and optimizes it end-to-end.
- Xie et al.，2016 ：DEC 通過深度神經網路學習從觀測空間到低維潛在空間的對映，可以同時獲得特徵表示和聚類分配；
2.2 Autoencoder
AE 有兩個部分：
-
- Encoder：編碼器函式為 $z=f_{W}(x)$ ，輸出表示 $z$ 。
-
- Decoder：解碼器函式為 $x^{\prime}=g_{W^{\prime}}(z) $，根據表示 $z$ 重構原始輸入 $x$ 。
$x^{\prime}=g_{W^{\prime}}(z)$
兩種常見的自編碼器：
-
- 欠完備自編碼器（ Under-complete autoencoder）：$z$ 的維度要小於原始輸入的維度。
- 去噪自編碼器（ Denoising autoencoder）：$L=\left\|x-g_{W^{\prime}}\left(f_{W}(\tilde{x})\right)\right\|_{2}^{2} \quad \quad \quad (1)$
Reference：
2.3 Deep Embedded Clustering
深度嵌入式聚類(DEC) [Xieetal.，2016] 首先對自動編碼器進行預訓練，然後刪除解碼器。其餘的編碼器通過優化以下目標進行微調：
$L=K L(P \| Q)=\sum\limits_{i} \sum\limits_{j} p_{i j} \log \frac{p_{i j}}{q_{i j}}\quad \quad \quad (2)$
其中：
-
- $q_{i j}$ 是表示 $z_{i}$ 和聚類中心 $\mu_{j}$ 之間的相似度。定義為：
${\large q_{i j}=\frac{\left(1+\left\|z_{i}-\mu_{j}\right\|^{2}\right)^{-1}}{\sum_{j}\left(1+\left\|z_{i}-\mu_{j}\right\|^{2}\right)^{-1}}}\quad \quad \quad (3) $
-
- Eq.2 中的 $p_{ij}$ 是目標分佈，定義為：
${\large p_{i j}=\frac{q_{i j}^{2} / \sum_{i} q_{i j}}{\sum_{j}\left(q_{i j}^{2} / \sum_{i} q_{i j}\right)}}\quad \quad\quad(4) $
DEC演算法：
-
- 首先，對原始資料集 $X$ ，跑一遍 AE ，獲得 Encoder 生成的表示 $z_{i}=f_{W}\left(x_{i}\right)$ ；
- 其次，基於 ${z_i}$ ，使用傳統的 $k-means$ ，獲得若干聚類中心 ${\mu _j}$；
- 然後，根據 Eq.3 和 Eq.4 計算得的 $q_{ij}$ 和 $p_{ij}$ 去計算 Eq.2 中的 $L$；
- 最後，根據 $q_{ij}$ 進行 $label$ 分配。
3 Improved Deep Embedded Clustering
- Consider a dataset $X$ with $n$ samples and each sample $x_{i} \in \mathbb{R}^{d}$ where $d$ is the dimension.
- The number of clusters $K$ is a priori knowledge and the $j$ th cluster center is represented by $\mu_{j} \in \mathbb{R}^{d}$ . Let the value of $s_{i} \in\{1,2, \ldots, K\}$ represent the cluster index assigned to sample $x_{i}$ .
- Define nonlinear mapping $f_{W}: x_{i} \rightarrow z_{i}$ and $g_{W^{\prime}}: z_{i} \rightarrow x_{i}^{\prime}$ where $z_{i}$ is the embedded point of $x_{i}$ in the low dimensional feature space and $x_{i}^{\prime}$ is the reconstructed sample for $x_{i}$ .
目標：尋找最佳的 $f_{W}$ 來獲得更好的 $\left\{z_{i}\right\}_{i=1}^{n}$ ，以便更好的做聚類任務。
本文 model 有兩個必不可少的部分：
-
- Autoencoder；
- clustering loss；
模型架構如 Fig.1. 所示：
目標函式定義為：
$L=L_{r}+\gamma L_{c}\quad\quad \quad (6)$
其中：
-
- $L_{r} $ 是重構損失；
- $L_{c}$ 是聚類損失；
- $ \gamma>0$ 是控制 the degree of distorting embedded space 的係數，當 $\gamma=1$ 或 $L_{r} \equiv 0$ 即是DEC的目標函式；
Q2：$ \gamma$ 這個係數為什麼這麼加，看過很多文章這麼寫，但是不知道為什麼一定加這？
A2：知道的可以再評論區抒發見解。
3.1 Clustering loss and Initialization
回顧 DEC 聚類損失函式（參考前面提到的 Eq.2. 、Eq.3.、Eq.4.）：
$L_{c}=K L(P \| Q)=\sum\limits_{i} \sum\limits _{j} p_{i j} \log \frac{p_{i j}}{q_{i j}}\quad\quad \quad (7)$
通過 DEC model 給的啟發：
-
- 預訓練：使用堆疊降噪自編碼器（stacked denoising autoencoder）。
- 然後基於預訓練生成的有效表示 $\left\{z_{i}=f_{W}\left(x_{i}\right)\right\}_{i=1}^{n}$ 使用 $k-means $ 獲得聚類中心 $\left\{\mu_{j}\right\}_{j=1}^{K}$ 。
3.2 Local structure preservation
由於 DEC 直接丟棄 Decoder 並通過聚類損失 $L_{c}$ 直接微調編碼器，可能造成嵌入空間的扭曲。[ 說白了就是研究 Decoder 的影響 ]
所以本文提出保持解碼器不變，直接將聚類損失加到嵌入空間中去。
本文將堆疊降噪自編碼器替換為欠完備自編碼器 [ 理由是聚類需要乾淨的資料，個人感覺就是那個實驗效果好選那個 ]，重構損失 [ Mean Squared Error ] ：
$L_{r}=\sum\limits _{i=1}^{n}\left\|x_{i}-g_{W^{\prime}}\left(z_{i}\right)\right\|_{2}^{2}\quad \quad \quad (8)$
這裡建議 $ \gamma$ 最好小於 $1$ ，這將在在 4.3 節通過實驗證明。
3.3 Optimization
Eq.6 採用小批量隨機梯度下降法優化，有三個引數需要優化，分別是：
- 自編碼器的權重引數
- 聚類中心 $u_j$
- 目標分佈 $P$
首先闡述：更新自編碼器權重引數和聚類中心
固定目標分佈 $P$ ，優化
$\frac{\partial L_{c}}{\partial z_{i}}=2 \sum\limits _{j=1}^{K}\left(1+\left\|z_{i}-\mu_{j}\right\|^{2}\right)^{-1}\left(p_{i j}-q_{i j}\right)\left(z_{i}-\mu_{j}\right)\quad\quad\quad (9)$
$\frac{\partial L_{c}}{\partial \mu_{j}}=2 \sum\limits _{i=1}^{n}\left(1+\left\|z_{i}-\mu_{j}\right\|^{2}\right)^{-1}\left(q_{i j}-p_{i j}\right)\left(z_{i}-\mu_{j}\right)\quad\quad\quad (10)$
-
- 聚類中心更新公式：
-
- 解碼器權重引數更新公式：
-
- 編碼器權重更新公式為：
${\large W=W-\frac{\lambda}{m} \sum\limits _{i=1}^{m}\left(\frac{\partial L_{r}}{\partial W}+\gamma \frac{\partial L_{c}}{\partial W}\right)}\quad \quad \quad (13)$ $
由於目標分佈 $P$ 是基於 soft label [ $p_{ij}$ 依託於 $q_{ij}$ ] ，頻繁更新容易造成不穩定，所以 $P$ 的更新並沒有在每個 iter 中更新，而是在每個 batch 中更新。但是實際上，本文是在 每 T iterations 進行更新。label 分配方法如下：
這裡當連續兩次分配的百分比小於 $\delta$ 將停止訓練。
4 Experiments
4.1 DataSets
- MNIST [影像資料集]：70000張手寫數字圖
- USPS [影像資料集]：9298張灰度手寫數字圖
- REUTERS-10K [文字資料集]：810000篇有標籤新聞報導，這邊取樣10000篇報導。
4.2 Results
實驗1：實驗結果如 Table 2 所示：
結論：
-
- 深度聚類方法： AE+k-means, DEC和 IDEC 表現明顯優於傳統方法，但這三種方法之間仍存在很大的差距。
- AE+k-means 和 DEC 相比證明了聚類損失的指導意義，DEC 和 IDEC 相比證明了自編碼器可以提高聚類效能。
實驗2：DEC 和 IDEC 對比實驗：
結論：
-
- IDEC 聚類精度高於 DEC ;
- IDEC 收斂慢於 DEC ;
- IDEC 聚類損失高於 DEC ;
- 最後幾次迭代重構損失和初始迭代損失相差不大；
實驗3：DEC 和 IDEC 視覺化對比實驗：
上下行分別是 IDEC 和 DEC 的 t-SNE 視覺化結果。
實驗4：DEC 和 IDEC 引數 $\lambda$ 和 $ \gamma$ 的對比實驗：
結論：
-
- IDEC在最佳學習率 $\lambda=0.1$ 的情況下優於 DEC 在最佳學習率 $\lambda=0.01$ 當 $ \gamma \in [0.05,1.0]$ ；
- 對於較大的 $\lambda$ 需要搭配較小的 $\lambda$ ；
5 Conclusion
本文提出了改進的深度嵌入式聚類(IDEC)演算法，該演算法聯合進行了聚類，並學習了適合於聚類的嵌入式特徵，並保留了資料生成分佈的區域性結構。IDEC通過優化基於KL散度的聚類損失來操縱特徵空間來散射資料。它通過合併一個自動編碼器來維護區域性結構。實驗實驗表明，結構儲存對深度聚類演算法至關重要，有利於聚類效能。未來的工作包括：在IDEC框架中新增更多的先驗知識（如稀疏性），併為影像資料集合並卷積層。
Last modify ：2022-02-13 17:54:31
『總結不易，加個關注唄！』
