深度推薦系統十大分類類別 -James Le

為什麼要推薦使用深度學習？
與傳統的基於內容的協作過濾方法相比，以下是基於深度學習的推薦系統的4個關鍵優勢：

• 深度學習可以使用非線性啟用（例如ReLU，Sigmoid，Tanh等）對資料中的非線性互動進行建模，此屬性使捕獲複雜而複雜的使用者項互動模式成為可能。諸如矩陣分解和分解機器之類的常規方法本質上是線性模型。作為許多傳統推薦器的基礎的線性假設被過分簡化，將極大地限制其建模表達能力。眾所周知，神經網路能夠透過改變啟用選擇和組合來以任意精度近似任何連續函式。此屬性可以處理複雜的互動模式並精確反映使用者的偏好。
• 深度學習可以從輸入資料中有效地瞭解潛在的解釋因素和有用的表示形式。通常，在現實應用程式中可以找到有關專案和使用者的大量描述性資訊。利用這些資訊可以提高我們對專案和使用者的瞭解，從而可以得到更好的推薦者。因此，將深度神經網路應用於推薦模型中的表示學習是一種自然的選擇。使用深度神經網路來輔助表示學習的優勢有兩個：（1）減少了手工特徵設計的工作量；（2）它使推薦模型能夠包含異構內容資訊，例如文字，影像，音訊甚至影片。
• 深度學習對於順序建模任務非常強大。在機器翻譯，自然語言理解，語音識別等任務中，RNN和CNN扮演著至關重要的角色。它們在挖掘資料的順序結構方面具有廣泛的應用性和靈活性。順序訊號建模是挖掘使用者行為和專案演變的時間動態的重要主題。例如，下一項/購物籃預測和基於會話的推薦是典型的應用。因此，深度神經網路非常適合此順序模式挖掘任務。
• 深度學習具有高度的靈活性。如今，有許多流行的深度學習框架，包括TensorFlow，Keras，Caffe，MXnet，DeepLearning4j，PyTorch，Theano等。這些工具以模組化方式開發，並獲得社群/專業人士的積極支援。良好的模組化使開發和工程更加高效。例如，很容易將不同的神經結構組合起來以制定強大的混合模型或將一個模組替換為其他模組。因此，我們可以輕鬆地建立混合和複合推薦模型來同時捕獲不同的特徵和因素。

1>基於多層感知器的推薦
MLP是前饋神經網路，在輸入層和輸出層之間具有多個隱藏層。您可以將MLP解釋為非線性轉換的堆疊層，從而學習分層特徵表示。它是一個簡潔而有效的網路，可以將任何可測量的功能近似到任何所需的精度。因此，它是眾多高階方法的基礎，並在許多領域得到了廣泛使用。
MLP可以將非線性變換新增到現有推薦系統方法中，並將其解釋為神經擴充套件。

• 推薦可以看作是使用者偏好和專案功能之間的雙向互動。例如，矩陣分解將評分矩陣分解為低維的使用者/專案潛在因子。神經協作過濾是一項具有代表性的工作，它構建了一個雙重神經網路來對使用者和專案之間的雙向互動進行建模。
• 深度因子分解機是一種端到端模型，可無縫整合因子分解機和MLP。它可以透過深度神經網路對高階特徵互動進行建模，並透過分解機對低階互動進行建模。

• 廣泛和深度學習是一個很好的模型，可以解決迴歸和分類問題，最初是在Google Play中為應用推薦而引入的。廣泛的學習元件是單層感知器，也可以將其視為廣義線性模型。深度學習元件是MLP。結合這兩種學習技術，推薦者可以同時記憶和概括。
• 適用於YouTube推薦的深度神經網路將推薦任務分為兩個階段：候選者生成和候選者排名。候選生成網路從所有影片語料庫中檢索一個子集。排名網路根據來自候選者的最近鄰居的分數生成前n個列表。
• 協作度量學習用歐氏距離替換矩陣分解的點積，因為點積不滿足距離函式的三角不等式。透過最大化使用者與其不喜歡的專案之間的距離以及最小化使用者與其喜歡的專案之間的距離來學習使用者和專案嵌入。

2>基於自動編碼器的建議
AE是試圖在輸出層中重建其輸入資料的無監督模型。通常，瓶頸層用作輸入資料的顯著特徵表示。幾乎所有其變體（表示AE，變異AE，結締AE和邊緣化AE）都可以應用於推薦任務。
AE可以用來學習瓶頸層的低維特徵表示。

• 協作深度學習是一種分層貝葉斯模型，它將堆疊式降噪自動編碼器（SDAE）整合到機率矩陣分解（PMF）中。為了無縫結合深度學習和推薦模型，本文提出了一個通用的貝葉斯深度學習框架，該框架由兩個緊密相關的元件組成：感知元件（SDAE）和任務特定元件（PMF）。這使模型能夠平衡輔助資訊和互動歷史的影響。
• 協作深度排名是在成對框架中專門針對top-n建議而設計的。論文表明，成對模型更適合於排序列表的生成。
• 深度協作過濾是用於透過協作過濾模型統一深度學習方法的通用框架。該框架使利用深度特徵學習技術構建混合協作模型更加容易。

• AutoRec將使用者/專案區域性向量作為輸入，並旨在在輸出層中對其進行重構。
• 協作降噪自動編碼器主要用於排名預測。CDAE的輸入是使用者部分觀察到的隱式反饋，可以將其視為反映使用者對商品興趣的偏好向量。文中還提出了一種負取樣技術，用於從負集合（使用者尚未與之互動的專案）中取樣一小部分子集，這可以在不降低排名質量的情況下大幅降低時間複雜度。
• Multi-VAE和Multi-DAE提出了一種可變自動編碼器的變體，用於帶有隱式資料的推薦。該文介紹了一種用於引數估計的有原則的貝葉斯推理方法，並顯示了比常用似然函式更好的結果。

3>基於卷積神經網路的推薦
CNN本質上是具有卷積層和池化操作的前饋神經網路。它可以捕獲全域性和區域性特徵，從而顯著提高模型的效率和準確性。它在處理非結構化多媒體資料方面非常強大。
CNN可用於從影像中提取特徵：

• What Your Images Reveal 調查了視覺功能對興趣點推薦的影響，並提出了視覺內容增強的POI推薦器系統。該系統採用CNN提取影像特徵，它是透過探索視覺內容與潛在使用者/位置因素之間的相互作用而建立在機率矩陣分解基礎上的。
• 針對影像推薦的混合表示的比較深度學習提出了一種具有CNN的影像推薦的比較深度學習模型。該網路由用於影像表示學習的2個CNN和用於使用者偏好建模的MLP組成。
• ConTagNet是一個上下文感知的標籤推薦系統。影像特徵是由CNN學習的。上下文表示由兩層完全連線的前饋神經網路處理。將2個神經網路的輸出連線起來，並饋入softmax函式，以預測候選標籤的機率。

• DeepCoNN採用2個並行的CNN來根據評論文字對使用者行為和商品屬性進行建模。該模型透過利用帶有CNN的審閱文字的豐富語義表示，減輕了稀疏性問題並增強了模型的可解釋性。它利用單詞嵌入技術將審閱文字對映到低維語義空間中，並保留單詞序列資訊。然後，提取的評論表示將依次透過具有不同核心的卷積層，最大合併層和完全連線層。
• 利用卷積神經網路的學習資源自動推薦技術，建立了一個電子學習資源推薦模型，該模型使用CNN從學習資源的文字資訊中提取專案特徵，例如學習材料的介紹和內容。

• 基於深度內容的音樂推薦使用CNN從音樂訊號中提取特徵。卷積核心和池化層允許在多個時間尺度上進行操作。這種基於內容的模型可以緩解音樂推薦的冷啟動問題。
• 用於影片理解的協作深度度量學習，使用基於CNN的著名模型ResNet提取音訊功能。該建議是在協作度量學習框架中執行的，類似於前面提到的CML。

• 基於外部產品的神經協作過濾使用CNN來改善神經協作過濾。所謂的ConvNCF模型使用外部乘積而不是點乘積來建模使用者項互動模式。本文將CNN應用於外部乘積的結果，從而可以捕獲嵌入維之間的高階相關性。
• 透過卷積序列嵌入的個性化Top-N順序推薦呈現了具有CNN的順序推薦，其中使用了分層和垂直的CNN來建模聯合級順序模式，並跳過了序列感知推薦的行為。

• 圖卷積矩陣完成將推薦問題視為帶有圖CNN的連結預測任務。該框架使將社交網路和專案關係之類的使用者/專案輔助資訊輕鬆整合到推薦模型中變得容易。
• 用於Web規模推薦系統的圖卷積神經網路將圖CNN用於Pinterest的推薦。該模型使用隨機遊動和圖形CNN從圖結構以及專案特徵資訊生成專案嵌入，因此非常適合大型Web推薦器。

4>基於遞迴神經網路的推薦
RNN適用於建模順序資料。它具有迴圈和記憶，可以記住以前的計算。部署了包括LSTM和GRU在內的各種RNN，以克服梯度消失的問題。
RNN可以處理基於會話的推薦任務中互動的時間動態和使用者行為的順序模式：

• GRU4Rec是基於會話的推薦模型，其中輸入是採用N編碼為1-of的會話的實際狀態，其中N是項數。如果相應的專案在此會話中處於活動狀態，則座標將為1，否則為0。輸出是會話中每個專案的下一個可能性。
• 在網易中使用深度遞迴神經網路的個人推薦是針對現實世界電子商務網站的基於會話的推薦模型。它利用基本的RNN，根據點選歷史記錄來預測使用者接下來會購買什麼。為了最大程度地減少計算成本，它僅保留有限數量的最新狀態，而將較舊的狀態摺疊為單個歷史狀態。該方法有助於平衡計算成本和預測精度之間的權衡。
• 迴圈推薦網路是一種基於RNN的非引數推薦模型。它可以對專案的季節性演變以及使用者偏好隨時間的變化進行建模。它使用2個LSTM網路作為構建塊來對動態使用者/專案狀態進行建模。

• 連續時間R推薦的迴圈共進化潛在特徵過程提出了一種共進化潛在模型，以捕獲使用者和專案的潛在特徵的共進化性質。使用者和專案之間的互動在推動使用者偏好和專案狀態的變化中起著重要作用。為了對歷史互動進行建模，作者提出使用RNN來自動學習來自使用者和專案特徵的漂移，演變以及共同進化的影響的表示形式。
• Ask GRU建議使用GRU將文字序列編碼為潛在因子模型。這種混合模型解決了熱啟動和冷啟動問題。此外，作者採用了多工正則化器來防止過度擬合併減輕訓練資料的稀疏性。主要任務是評級預測，而輔助任務是專案後設資料（例如標籤，流派）預測。
• 針對數百萬使用者的基於嵌入的新聞推薦建議使用GRU來學習使用者瀏覽歷史的更具表現力的聚合，並使用潛在因素模型推薦新聞報導。與傳統的基於單詞的方法相比，結果顯示出顯著的改進。該系統已完全部署到線上生產服務中，每天為超過一千萬的唯一使用者提供服務。

5>基於受限玻爾茲曼機的推薦
RBM是由可見層和隱藏層組成的兩層神經網路。它可以輕鬆地堆疊到深層網路。術語“ 受限制”表示在可見或隱藏層中沒有層內通訊。

• 用於協作過濾的受限玻爾茲曼機器是基於RBM的第一個推薦模型。RBM的可見單位僅限於二進位制值，因此，評分分數在一個熱向量中表示，以適應此限制。每個使用者都有一個帶有共享引數的唯一RBM，並且可以透過對比散度演算法來學習這些引數。這裡的本質是，無論使用者如何評價專案，使用者都會透過給出評分來隱式告訴他們的偏好。

• 使用RBM進行協同過濾的非IID框架在統一框架中結合了基於使用者和基於專案的RBM-CF。在這種情況下，可見單位由使用者和專案隱藏單位確定。
• 基於專案類別的基於條件受限Boltzmann機器的建議書設計了一種混合RBM-CF，它結合了專案功能並基於條件RBM。這裡，條件層是用二元專案型別建模的，因此會影響具有不同連線權重的隱藏層和可見層。

6>神經注意模型 - 基於建議
注意模型是可微分的神經體系結構，其基於在輸入序列或輸入影像上的軟內容定址來操作。它們是由人類的視覺注意力驅動的，可以從原始輸入中濾除不具資訊性的功能，並減少嘈雜資料的副作用。這種關注機制在計算機視覺和自然語言處理領域無處不在。
在推薦系統的上下文中，我們可以利用注意力機制來過濾嘈雜的內容並選擇最具代表性的專案，同時提供良好的可解釋性。

• 注意協作過濾使用注意協作過濾模型，並在潛在因素模型內部使用2級關注機制。該模型包括專案級別和元件級別的注意：專案級別的一個選擇最具代表性的專案來表徵使用者；元件級從多媒體輔助資訊中為每個使用者捕獲最有用的功能。
• 具有基於主題注意力​​的 LSTM的主題標籤推薦使用基於關注的LSTM模型進行主題標籤推薦。該模型利用RNN和注意力機制來捕獲順序屬性並從微博帖子中識別出資訊量大的單詞。
• 使用基於注意力的卷積神經網路的標籤推薦使用微博中針對相同標籤標籤推薦的基於注意力的CNN模型，該標籤被視為多標籤分類問題。該模型由一個全域性通道和一個本地關注通道組成：全域性通道具有卷積層和最大池層以對所有單詞進行編碼；本地頻道具有關注層，該關注層具有給定的視窗大小和閾值以選擇提示性單詞。

7> 基於神經自迴歸的推薦
神經自迴歸分佈估計（NADE）是建立在自迴歸模型和前饋神經網路之上的無監督神經網路。它是用於對資料分佈和密度進行建模的易處理且高效的估計器，可以認為它是受限玻爾茲曼機的理想替代方案。
根據我的評論，一種用於協作過濾的神經自迴歸方法是提出基於NADE的協作過濾模型（CF-NADE）的唯一論文，該模型可以對使用者評分的分佈進行建模。

8> 基於深度強化學習的推薦
強化學習（RL）以試錯法為基礎，由5個組成部分（主體，環境，狀態，行為和獎勵）組成。深度神經網路和強化學習相結合，構成了深度強化學習，它在遊戲和自動駕駛等多個領域都達到了人類水平的表現。深度神經網路使代理能夠從原始資料中獲取知識並獲得有效的表示形式，而無需手工製作的功能和域啟發式演算法。
傳統上，大多數推薦模型都認為推薦過程是靜態的，因此很難捕獲使用者的時間意圖並及時做出響應。近年來，深度強化學習已將其用於個性化推薦。

• 透過成對深度強化學習透過負反饋進行推薦的建議提出了一種稱為DEERS的建議，用於在順序互動設定中同時具有負反饋和正反饋。
• 針對頁面建議的深度強化學習探索了一種名為DeepPage的框架，該框架可以根據使用者的實時操作來自適應地最佳化專案頁面。
• DRN：新聞推薦的深度強化學習框架是一種新聞推薦系統，它使用深度強化學習來檢測新聞內容和使用者喜好的動態變化，合併使用者的回返模式並增加推薦的多樣性。

9>對抗性網路 - 基推薦
對抗網路是一個生成神經網路，由鑑別器和生成器組成。透過在minimax遊戲框架中相互競爭來同時訓練這兩個神經網路。

• IRGAN-用於統一生成性和區分性資訊檢索模型的Minimax遊戲是將GAN應用於資訊檢索區域的第一個模型。具體來說，作者展示了3種資訊檢索任務的功能，包括Web搜尋，專案推薦和問題解答。
• 推薦的對抗性個性化排名提出了一種對抗性個性化排名方法，該方法透過對抗性訓練來增強貝葉斯個性化排名。它在原始BPR目標和對手之間扮演一個minimax遊戲，該遊戲會增加噪音或排列以最大化BPR損失。
• 用於個性化引用建議的基於生成對抗網路的異構書目網路表示形式針對異構書目網路使用基於GAN的表示學習方法，可以有效地解決個性化引用建議任務。
• 具有對抗訓練的神經記憶體流推薦網路讓GAN為基於記憶體網路的流推薦器生成否定樣本。

10> 基於深度混合模型的推薦
藉助深度神經網路的良好靈活性，可以整合許多神經構建模組，以形式化更強大和更具表達力的模型。最近的研究趨勢表明，應針對特定任務合理，謹慎地設計混合模型。

• 基於知識的協作嵌入將CNN與自動編碼器結合在一起，以提取影像中的特徵。它利用不同的嵌入技術來利用結構內容，文字內容和視覺內容。
• 使用深度神經網路的對話中的報價推薦是RNN和CNN的混合模型，用於推薦報價，這需要根據查詢文字或對話生成報價的排名列表。它應用CNN從推文中學習重要的本地語義並將其對映到分佈向量。然後，LSTM處理這些向量，以計算目標引號與給定推文對話的相關性。
• 個性化關鍵幀建議將CNN和RNN整合在一起，以在影片中提供個性化關鍵幀建議，其中CNN用於從關鍵幀影像中學習特徵表示，而RNN用於處理文字特徵。
• 用於情境感知引用推薦的神經引用網路將CNN和RNN整合在用於引用推薦的編碼器-解碼器框架中。CNN是從引用上下文捕獲長期依賴關係的編碼器，而RNN是在給定所有先前單詞以及CNN獲得的表示的情況下，學習被引用論文標題中某個單詞的機率的解碼器。
• 協作遞迴自動編碼器利用整合RNN和對自動編碼器進行降噪的方法來克服諸如缺乏魯棒性和缺乏對文字資訊序列進行建模的能力之類的限制。本文設計了稱為魯棒遞迴網路的RNN的泛化，並提出了稱為CRAE的分層貝葉斯推薦模型。該模型由編碼和解碼部分組成，並使用帶有RNN的前饋神經層來捕獲專案內容的順序資訊。
• 使用遞迴神經網路進行動態強化學習的有指導的強化學習推薦結合了具有RNN的有監督的深度強化學習以推薦治療。該框架可以從指標訊號和評估訊號中學習處方策略。

結論
深度學習在自然語言處理，影像和影片處理，計算機視覺和資料探勘等許多領域都越來越流行，這是一個了不起的現象，因為還沒有一種通用的方法來解決不同種類的問題。之前的計算問題。藉助深度學習技術的這些方面，它們不僅具有解決許多領域中複雜問題的能力，而且還為這些研究領域形成了共同的詞彙和共同點。深度學習方法甚至可以幫助這些子領域相互協作，而在過去，由於所使用技術的多樣性和複雜性，這在過去有些問題。