深度學習在推薦系統中的應用綜述（最全）

原文連結：https://arxiv.org/pdf/1707.07435.pdf

摘要：

隨著線上資訊的體量、複雜度和動態性的不斷增長，推薦系統已經成為了一種可以有效解決這種資訊過載問題的關鍵性解決方案。近幾年，深度學習的革命性進步在語音識別、影象分析和自然語言處理方面都受到了廣泛關注。與此同時，近期的一些研究也說明了深度學習在處理資訊檢索和推薦任務中的有效性。由於其一流的效能表現和高質量的推薦結果，將深度學習應用於推薦系統已經獲得了動力。與傳統推薦模型相比，深度學習可以更好的理解使用者需求、專案特徵及其之間的歷史性互動。

本文旨在為近期推動推薦系統研究的基於深度學習的推薦方法提供一份綜述評論。同時提出一種基於深度學習推薦模型的分類體系（taxonomy），用於對那些被調查的文章進行分類。在分析回顧相關工作成果的基礎上我們發現了尚待解決的問題，潛在的解決方案也將被討論。

二維分類方法與定性分析：

圖 1：基於深度學習的推薦系統分類的二維體系，左側部分對神經網路模型進行了說明，右側部分則說明了整合模型。

圖 2：（a）使用的資料集；（b）使用的評測指標；（c）最有影響力的工作。

表 2：年引用次數超過 10 次的最具影響力論文。

應用領域：

表 3：特定應用領域的推薦模型。

1. 基於多層感知機（Multilayers Perception）的推薦系統

多層感知機是簡明且有效的模型。它廣泛應用於很多領域，尤其是工業界。多層前饋網路能夠讓任意的可測函式接近任意的期望精度。它也是很多高階模型的基礎。

圖 3：（a）神經協同過濾；（b）CCCFNet；（c）寬度&深度學習；（d）DeepFM。

2.基於自編碼器（Autoencoders）的推薦系統

將自編碼器應用於推薦系統一般有兩種常用方式：（1）使用自編碼器在瓶頸層（bottleneck layer）來學習低維度特徵表徵；或者（2）直接在重構層填充評分矩陣的空白處。

圖 4：（a）I-AutoRec；（b）CFN；（c）ACF；（d）CDAE。

表 4：5 個基於自編碼器的推薦模型之間的對比。

圖 5：（a）協同深度學習（左）與協同深度排序（右）的圖模型；（b）深度協同過濾框架。

3.基於卷積神經網路（CNN）的推薦系統

此種系統中的卷積神經網路大多是用於特徵提取（ feature extraction）的。

圖 6：（a）基於 Attention 的 CNN；（b）個性化 CNN 標籤推薦；（c）DeepCoNN；（d）ConvMF。

4.基於迴圈神經網路（RNN）的推薦系統

迴圈神經網路特別適用於處理推薦系統中的評級和序列特徵的時序動態。

圖 7：（a）藉助 RNN 的 Session 推薦；（b）藉助 RNN 的完善的 Session 推薦；（c）迴圈推薦網路；（d）用於標籤推薦的基於 Attention 的 RNN。

5.基於深度語義相似性模型（Deep Semantic Similarity Model）的推薦系統

深度語義相似性模型（DSSM）是一種廣泛應用於資訊檢索領域的深度神經網路。它非常適用於排行榜（top-n）推薦。基礎型 DSSM 由 MLP 組成，更高階的神經層比如卷積層和最大池化（max-pooling ）層可以被很容易地新增進去。

圖 8：（a）基於深度語義相似性的個性化推薦；（b）多視角深度神經網路。

6. 基於受限玻爾茲曼機（Restricted Boltzmann machine）的推薦系統

圖 9：（a）RBM-CF；（b）帶有隱式反饋的條件性 RBM-CF；（c）基於使用者和基於專案的 RBM-CF 的組合；（d）混合 RBM-CF。

7.新興方法：NADE 和 GAN

NADE 提出了一種易於處理的方法，以對源資料的真實分佈進行近似計算，並且可以在幾個試驗性資料集中產生最一流的推薦精度（與其它基於深度學習的推薦模型相比）。生成對抗網路（GAN）能夠將判別模型和生成模型相融合，並且充分利用二者的優點。

圖 10：（a）基於神經自迴歸的推薦系統；（b）IRGAN。

8. 用於推薦系統的深度複合網路（Deep composite models）

圖 11：現有的深度複合模型。

圖 12：（a）CNN 和 RNN 的引用推薦；（b）比較性深度學習模型；（c）NRT；（d）帶有 CNN 的深度語義相似性模型（DSSM）

★相關★

【教程】如何從零開始構建深度學習專案？

深度學習領域引用量前10篇論文（附下載地址）

搞定這8個實戰專案，秒殺80%深度學習面試者

專訪 | 我是如何從本科轉崗到年薪35萬演算法工程師的

DL目標檢測技術演進（通俗易懂，看一遍能記一輩子！）