隨著網際網路技術的迅速發展，尤其是移動網際網路的興起，新產生的資訊呈現爆炸式的增長。為了更好地解決資訊獲取中的資訊過載（Information Overload）和長尾問題（Long Tail），推薦系統應運而生，目前基本上已經成為了各種產品的標配功能。推薦系統是資訊過濾系統的一個分支，它可以自動地挖掘使用者和物品之間的聯絡。具體來說，它試圖基於使用者本身的多維度屬性資料（如年齡、地域、性別等）以及行為資料的反饋（如點選、收藏、點贊、購買等），結合物品自身屬性資料（如標題、標籤、類別、正文等），以預測使用者對待推薦物品的評分或偏好。從使用者的角度來看，推薦系統是基於使用者個人的興趣偏好進行千人千面的自動推薦，則有助於緩解資訊過載問題。從物品的角度來看，其自身屬性及對應的互動行為差異，透過各種推薦方式是可以觸達到對其更感興趣的使用者群體中，緩解了曝光不足帶來的長尾問題。從企業的角度來看，推薦系統帶來了更好的產品互動方式，達到了沉浸式體驗的效果，從而進一步提升了使用者的黏性，並最終大幅度提升了轉化收益。

圖1 達觀智慧推薦系統

在智慧推薦ToB企業服務領域，達觀資料已經有了10餘年的推薦技術沉澱和上千家客戶的行業應用實踐經驗。早在2012年的時候，由達觀資料創始人陳運文博士帶領團隊參加了在倫敦舉辦的EMI資料駭客競賽並獲得了國際冠軍，該競賽主要是圍繞音樂推薦場景，如何基於使用者聽歌行為等資料進行分析挖掘來對預測使用者興趣偏好並進行歌曲推薦。經過激烈鏖戰，由他們開發的智慧推薦系統對500萬聽歌使用者的資料進行建模，根據每個使用者的個性化興趣偏好從數十萬首歌曲庫中為每個使用者生成千人千面的歌曲推薦結果，推薦精度力克包括來自劍橋大學、牛津大學、密歇根大學等等的300多支參賽隊伍，一舉獲得冠軍。達觀智慧推薦基於前沿的人工智慧和大資料分析挖掘技術，經過多年的產品打磨和持續的行業應用探索，累計服務客戶數量達到了上千家。 （）

基於過濾思想的推薦方法

經過多年的推薦系統理論發展，已經產生了三代主要的推薦系統。第一代推薦系統（1995-2005），主要包括三種方法：基於內容過濾的方法、基於協同過濾的方法和混合方法，技術上主要是規則統計和機器學習。第二代推薦系統（2003-2014），主要是基於時間、位置、使用者組評分等特徵上下文，對這一代推薦系統的研究目前仍在進行中。第三代推薦系統的研究更側重在基於表示學習的語義模型以及在推薦過程中會有較多的關於知識元件的使用。

01 基於協同過濾的推薦方法

協同過濾方法（Collaborative Filtering，CF）是一種傳統的推薦方法，體現的是群體智慧，它基於使用者的興趣偏好和與物品的歷史互動行為進行推薦。這種方法可以分為基於記憶的方法和基於模型的方法。而基於記憶的方法可以分為兩類：基於使用者的（User-based CF）和基於物品的（Item-based CF）。基於記憶體的方法最流行的演算法是KNN演算法，該演算法使用了一些傳統的相似性度量，如 Pearson、Spearman、Cosine、Jaccard 等。另一方面，在基於模型的方法中，最常用的是矩陣分解（MF）及其變體（NMF、SVD）。目前，又出現了一些新的基於模型的協同過濾方法，如貝葉斯、基於聚類的、基於規則的和基於圖的推薦方法。

協同過濾主要存在兩個問題：當使用者與物品之間的互動很少時使用者資料的稀疏性，以及冷啟動問題（新使用者和新物品）。另外就是是傳統的推薦技術沒有利用推薦場景中的諸多語義資訊、關鍵字關係和層次結構。

02 基於內容過濾的推薦方法

基於該方法的推薦系統透過學習和使用者過去偏好的物品在內容特徵方面比較相似的新物品進行推薦。這類方法可以分為基於案例推理（case-based reasoning）和基於屬性（attribute-based）的技術。基於案例推理的技術主要是推薦與使用者過去喜歡的物品高度相關的物品。相比之下，基於屬性的技術基於將物品屬性與使用者屬性相匹配來進行推薦結果生成。大多數基於內容過濾的推薦系統使用的模型包括：關鍵字匹配或向量空間模型（VSM）、基於詞頻-逆文件頻率（TF-IDF）加權、主題建模等。

基於內容過濾的推薦方法，推薦出來的物品具有較高的文字相關性，同時可以很好的解釋推薦結果，但是推薦出來的結果往往驚喜度較差，同時文字特徵較為稀疏時也會影響相關性的計算。

03 基於人口統計資訊過濾的推薦方法

該方法的主要思想是具有某些共同個人屬性（性別、年齡、國家等）的使用者也具有共同偏好這一事實。基於此，這些系統可以透過根據人口統計屬性對使用者進行分類來生成推薦結果。當物品的資訊量很有限時，這些方法特別有用。該方法的一個優點是它不需要使用者對基於內容和協同過濾方法所必需的物品進行評分或者有互動反饋。

然而，這種型別的推薦方式的主要問題，一是由於涉及安全和隱私問題，為使用者收集完整的資訊是不切實際的；二是該方法向相關人口統計群體的使用者推薦相同的商品，個性化程度受限。

04 基於上下文感知過濾的推薦方法

該類推薦系統結合場景上下文資訊進行推薦。這種方法假設當前推薦場景的上下文是用一組預定義的可觀察屬性定義的，其結構不會隨著時間的推移而發生顯著變化。所謂的上下文資訊主要包括時間、位置或者其他人（如朋友、親戚或同事）。這些上下文資訊為推薦結果的生成提供了額外的資訊，相對於僅考慮使用者或者物品自身資訊，會有更多的補充。

05 基於知識過濾的推薦方法

該類推薦系統主要是基於領域知識考慮如何推薦以滿足使用者的興趣偏好。這些系統應該使用三種型別的知識：關於使用者的知識、關於物品的知識以及關於物品與使用者需求之間對應關係的知識。總體上來說，該方法主要是依靠知識圖譜來為推薦系統更多的輔助資訊以提升推薦精準度。後面會展開來詳細介紹。

06 混合過濾的推薦方法

這些系統通常將協同過濾與內容過濾或協同過濾與任何其他推薦方法相結合進行推薦。結合的目標是利用每種方法的優勢以提高整體系統效能和推薦效果。目前，一些關於混合方法的工作包括基於深度學習方法、貝葉斯網路、聚類、潛在特徵和圖結構等等。

近年來，基於深度神經網路的方法，如 DNN 、Wide & Deep、DeepFM在排序學習（Learn to Rank，LTR）方面取得了令人矚目的表現。這些方法遵循嵌入（Enmbedding）和多層感知機(Multilayer Perceptron，MLP)正規化，其中大規模稀疏特徵首先嵌入到低維向量中，然後連線在一起輸入多層感知器以學習特徵之間的非線性關係。先進的LTR方法發現了從使用者的歷史行為中提取使用者興趣以進行排名的有效性。具體來說，DIN（Deep Interest Network）使用注意力機制從使用者對候選物品的歷史行為中學習使用者興趣的表示。DIEN（Deep Interest Evolution Network）使用迴圈神經網路來捕捉使用者興趣的演變。DMT（Method Deep Multifaceted Transformers）利用多個轉換器對使用者的不同行為序列進行建模。

總體上來說，推薦演算法是推薦系統的核心元素。基於協同過濾的推薦方式是以互動資料中使用者或物品的相似性對使用者興趣偏好進行建模，而基於內容過濾的推薦方法則主要是利用物品的內容特徵。基於協同過濾的推薦系統已被廣泛應用，因為它們可以有效地捕獲使用者偏好，並且可以在多種場景中可以快速方便的實現，而無需像基於內容過濾的推薦系統中提取各種特徵。然而，基於協同過濾的推薦方法存在資料稀疏和冷啟動問題。為了解決這些問題，已經提出了很多型別的混合推薦系統來統一互動級相似性和內容級相似性。在這個過程中，也探索了多種型別的輔助資訊，例如物品屬性、評論資料、使用者的社交網路等等。實踐證明，混合推薦系統通常可以獲得更好的推薦結果，並且近年來越來越受歡迎。

知識圖譜概述

知識圖譜（Knowledge Graph，KG）是一種描述實體或概念並使用不同型別的語義關係將它們連線起來的結構。2012 年，Google提出術語“知識圖譜”來指代語義知識在網路搜尋中的使用，目的是提高搜尋引擎的能力，增強使用者的搜尋體驗。在“知識圖譜”一詞流行之前，DBPedia和其他連結資料集是由語義Web技術和Berners-Lee提出的連結資料設計問題生成的。如今，KG已經在業界獲得了廣泛關注並進行了大規模的系統應用。

在過去的數年中，越來越多的語義資料遵循關聯資料原則，透過將來自不同主題領域的各種資訊（如人、書籍、音樂、電影和地理位置）連線到一個統一的全球資料空間中來發布。這些異構的資料相互聯絡，形成了一個巨大的資訊資源庫，稱為知識庫。已經構建了幾個典型的知識庫，包括YAGO、NELL、DBpedia、DeepDive等學術專案，以及微軟的Satori、谷歌的Knowledge Graph等商業專案。使用來自知識庫的異構連線資訊有助於深入瞭解單個領域的資料難以發現的問題。

以下是部分知識庫介紹：

1. Freebase是一個非常實用的並且可擴充的元組資料庫系統，旨在成為世界知識的公共儲存庫。它的設計靈感來自廣泛使用的資訊社群，如語義網和維基百科。Freebase 中的資料是結構化的，透過協作建立的方式生成。它支援高度多樣化和異構的資料，並具有高可擴充套件性。Freebase 目前包含125000000+ 元組、4000+型別和 7000+屬性。MQL (Metaweb Query Language)作為一種對資料執行查詢和操作的語言，透過基於HTTP協議的圖查詢（graph-query）API可以實現對Freebase的讀寫操作。MQL為Freebase中的元組資料提供了易於使用的物件導向的介面，它的產生旨在促進透過協作方式建立基於 Web 的面向資料的應用程式。

   
   

2. DBpedia是從111種語言的維基百科版本中提取結構化資料來構建的一個大規模多語言知識庫。從英文版維基百科中抽取的最大DBpedia知識庫包含4億多條事實資料，用於描述370萬種事物。從其它的110個維基百科版本中抽取的DBpedia知識庫總共包含14.6億事實資料，描述1000萬種額外事物。DBpedia將27種不同語言版本的維基百科資訊框（infoboxes）對映到一個單一的共享本體中，該本體由320個類和1650 個屬性組成。這些對映是透過世界範圍內的眾包工作建立的，從而可以很好的融合來自不同維基百科版本的知識。該專案定期釋出所有DBpedia知識庫以供下載，並透過本地DBpedia章節的全球網路提供對111種語言版本中的14 種語言版本的SPARQL查詢訪問。除了定期釋出之外，該專案還維護一個實時知識庫，該知識庫會在維基百科中的頁面發生更改時進行更新。DBpedia設定了2700萬個RDF連結，指向30多個外部資料來源，從而使來自這些源的資料能夠與DBpedia資料一起使用。

   
   

3. YAGO是由德國馬普研究所研製的連結資料庫。YAGO主要整合了Wikipedia、WordNet和GeoNames三個來源的資料。YAGO建立在實體和關係之上，目前包含超過 100 萬個實體和 500 萬個事實，1.2億條三元組知識，包括 Is-A 層次結構以及實體之間的非分類關係，事實已自動從Wikipedia中提取並與 WordNet統一。YAGO將WordNet的詞彙定義與Wikipedia的分類體系進行了融合整合，使得YAGO具有更加豐富的實體分類體系。YAGO還考慮了時間和空間知識，為很多知識條目增加了時間和空間維度的屬性描述。
   
   

知識圖譜本質上是一種基於圖的資料結構,是一種揭示實體之間關係的語義網路。通俗來講，就是把不同種類的資訊連線在一起得到的一個語義關係網，知識圖譜以結構化的方式描述客觀世界，沉澱背景知識，將資訊知識表示成更接近人類認識世界的形式，已經被廣泛應用於搜尋引擎、智慧推薦、智慧問答、語言理解、決策分析等領域。

圖2 達觀知識圖譜功能展示

達觀知識圖譜，是達觀資料公司面向各行業知識圖譜應用而推出的新一代產品，其整合了知識圖譜的設計、構建、編輯、管理、應用等全生命週期實現，基於客戶的多源異構資料整合構建知識中臺，可以實現從業務場景出發到生成圖譜、再到實現基於圖譜的應用，顯著提高了各行業中知識圖譜的落地效率和效果。

知識圖譜和推薦系統

傳統的推薦系統更多的是將使用者和物品之間的顯式或隱式反饋作為輸入，這帶來了兩個問題：

1. 在實際場景中，使用者和物品之間的互動資訊特別稀疏。例如，一個線上購物應用可能包含數十萬的商品，而使用者實際購買的商品數量可能僅有數百。使用如此少量的行為反饋資料來預測大量未知資訊會顯著增加演算法過擬合的風險。
   
   

2. 對於新使用者和新物品的推薦，由於缺乏歷史互動資訊，系統推薦的精準度就會受到極大的負面影響。解決稀疏性和冷啟動問題的一種常見方法是在推薦演算法的輸入中引入額外的輔助資訊，例如使用者屬性、專案屬性和上下文資訊等等。

近年來，將知識圖譜作為輔助資訊引入推薦系統已經成為了工業界和學術界的研究熱點。KG一方面可以提供豐富的領域知識作為補充資訊來克服協同過濾和基於內容過濾的推薦方法所面臨的問題；另一方面，推薦系統可以使用 KG 中存在的語義關係來提高其準確性並增加推薦物品的多樣性。具體來說，KG 推薦利用了代表使用者的實體、要推薦的物品及其互動之間的聯絡。推薦系統使用各種連線來識別目標使用者可能感興趣的物品集合。因此，複雜的關係表示為基於KG的推薦系統提供了額外的有價值的資訊，以在節點之間應用推理來發現新的連線。相反，一般來說，基於特徵向量的經典推薦方法會忽略這種連線，這可能會導致整體的推薦效能欠佳，尤其是在資料稀疏的情況下。

融入知識圖譜的推薦系統

KG是一個異質圖，節點表示實體，邊緣表示實體之間的關係。物品及其屬性可以對映到 KG 中，以表徵物品之間的相互關係。此外，使用者及其資訊也可以整合到KG中，這就使得使用者和物品之間的關係以及使用者偏好可以更準確地捕獲。

一般來說，基於KG的推薦方法，第一步需要構建KG，可以是物品知識圖譜（Item Knowledge Graph，IKG），也可以是使用者物品知識圖譜（User-Item Knowledge Graph，UIKG）。

1. 關於IKG。在IKG中，物品和他們關聯的實體（如物品屬性）作為節點，而邊可以表示物品的屬性級關係（如品牌、類別等），也可以表示為使用者相關的關係（如“都瀏覽”、“都購買”）。

   
   

2. 關於UIKG。在UIKG中，使用者、物品和他們相關的實體都是節點，邊可以表示使用者和物品之間的關係（如點選、收藏、購買等）。

以IKG的構建為例，物品首先對映到外部 KG 以找到它們的關聯實體，然後從 KG 中提取關聯實體的多跳鄰居，並形成推薦系統的子圖。當然也可以不需要依賴外部KG，可以基於所提供的資料中的輔助資訊來構建KG。

可解釋的推薦系統是近年來的另一個熱門研究方向。一方面，在推薦結果呈現的實現如果可以向使用者提供適當的推薦解釋，則使用者可以相對更好地接受推薦結果。另一方面，也可以更深入地瞭解推薦演算法。與傳統的推薦系統相比，基於知識圖譜的推薦系統呈現了連線使用者和物品的多種實體和關係，並且能夠很好地展示推理過程。

基於知識圖譜的推薦方法，按照如何應用知識圖譜資料，可以分為三類，分別是基於嵌入的方法、基於連線的方法和基於傳播的方法。

01 基於嵌入的方法

基於嵌入（Enbedding-based）的方法主要思想是使用KG中大量的事實知識來進一步地豐富使用者和物品的多維度表示，其中主要包括兩大基礎模組，一個是圖嵌入模組，用於學習KG中實體和關係的表示，也就是需要應用知識圖嵌入（Knowledge Graph Embedding，KGE）演算法將KG編碼為低秩嵌入，KGE演算法可以分為兩類：平移距離模型，如TransE、TransH、TransR、TransD等，以及語義匹配模型，如 DistMult。

另外一個是推薦模組，基於學習到的特徵用於預測使用者對物品的偏好。基於這兩個模組在整個推薦框架中的關聯方式的差異，基於嵌入的方法可以進一步細分為兩階段學習的方法、聯合學習的方法和多工學習的方法。該類方法面臨的挑戰包括如何使用合適的KGE方法以獲得實體的嵌入表示以及如何將學習到的實體嵌入表示整合到推薦模組中。

圖3 DKN框架

（1）兩階段學習方法

兩階段學習方法是指分別對圖嵌入模組和推薦模組進行訓練。第一步，使用KGE演算法學習實體和關係的嵌入表示，接著，將預訓練好的圖相關嵌入連同其它的使用者特徵和物品特徵輸入到推薦模型進行使用者興趣預測。圖3是用於新聞推薦的DKN（Deep Knowledge-aware Network）兩階段學習框架圖。在第一階段，提取新聞標題中的實體並將其對映到 Satori KG以挖掘新聞之間的知識級關係。DKN 透過將用KCNN學習到的句子的文字嵌入表示和透過TransD將新聞內容中的實體的知識級嵌入二者結合來對新聞進行建模。為了捕捉使用者對新聞的動態興趣，透過引入注意力機制，聚合使用者的歷史點選新聞的嵌入來學習使用者的表示。

兩階段學習方法易於實現，其中 KG 嵌入通常被視為後續推薦模組的額外特徵。另一個好處是可以在沒有互動資料的情況下學習 KG 嵌入，因此，大規模互動資料集不會增加計算複雜度。此外，由於KG通常是穩定的，一旦學習好了嵌入表示，就沒有必要頻繁更新嵌入表示。但是，透過 KGE 模型最佳化的實體嵌入更適合於圖內應用，例如 KG補全。由於 KGE 模組和推薦模組是松耦合的，因此學習到的嵌入也可能不適合後續的推薦任務。

圖4 CKE推薦系統流程

（2）聯合學習法
另一個趨勢是以端到端（end-to-end）的訓練方式聯合學習（Joint Learning）圖嵌入模組和推薦模組。這樣，推薦模組可以指導圖嵌入模組中的特徵學習過程。CKE（Collaborative Knowledge Base Embedding）統一CF框架中的各種型別的輔助資訊，包括物品的屬性級特徵、文字特徵和視覺特徵。屬性級特徵用TransR編碼以從KG中學習結構知識，而文字特徵和視覺特徵用自動編碼器進行提取。這三個特徵學習模組的目標函式加上推薦模組共同學習模型引數。

聯合學習方法可以進行端到端的訓練，並且可以使用 KG 結構對推薦系統進行正則化。然而，在實際應用過程中，需要對不同目標函式的組合進行微調。

圖5  MKR框架及交叉壓縮單元示例

（3）多工學習法
最近的一個研究方向是採用多工學習（Multi-Task Learning）的策略，在KG相關任務的指導下訓練推薦任務。動機是使用者-物品互動二分圖中的物品及其在 KG 中的關聯實體可能共享相似的結構。因此，物品和實體之間低階特徵的轉移有助於促進推薦系統的改進。MKR（Multi-task feature learning approach for Knowledge graph enhanced Recommendation）由一個推薦模組和一個KGE模組組成。這兩個模組不是將 KG 嵌入輸入到推薦模組中，而是獨立的，並透過交叉壓縮單元進行連線以共享知識。推薦模組被訓練以估計使用者對候選物品的偏好，而KGE模組被訓練來估計給定頭部實體和三元組中的尾部實體表示。具體來說，推薦模組基於MLP以獲得終端使用者表示。最終的物品表示由L層交叉壓縮單元及其在KG中的相關實體來進行細化。使用非線性函式估計使用者對候選物品的偏好程度。

透過應用多工學習策略，有助於防止推薦系統過擬合，提高模型的泛化能力。然而，與聯合學習方法類似，它需要努力在一個框架下整合不同的任務。
綜上，儘管兩階段學習方法易於實現，但學習到的實體嵌入可能不適合推薦任務，聯合學習方法透過端到端訓練學習最佳化的實體嵌入，多工學習方法透過從KG相關任務中轉移知識進一步提高模型的泛化能力。但是，它需要大量的實驗來找到不同目標函式的最佳組合。

02 基於連線的方法

基於連線（Connection-based）的方法利用圖中的連線模式來指導推薦。相關的大多數工作都使用UIKG來挖掘圖中實體之間的關係。探索 KG中的連線資訊有兩種主要方法。第一個方向是利用圖中的元結構，包括元路徑和元圖，來計算實體之間的相似度。基於元結構的相似性可以作為使用者和物品表示的約束，也可以用於預測使用者對互動歷史中相似使用者或相似物品的興趣偏好。第二種解決方案是將使用者-物品對或物品-物品對之間的連線模式編碼為向量，可以整合到推薦框架中。這種方法也叫基於路徑嵌入的方法。這種方法的挑戰包括：1）如何為不同的任務設計合適的元路徑；2）如何對實體之間的連線模式進行建模。

（1）基於元結構的方法

基於元結構（Meta-structure based）的方法的一種實現是利用不同元路徑中實體的連線相似性作為圖譜正則化項來約束使用者和物品的表示。其動機是基於元路徑的實體相似度越高，則在潛在空間中越接近。
目標函式如式（1）所示：

其中LRec表示推薦系統的目標函式，常見的選擇是矩陣分解。相似性約束LSim指導使用者嵌入和物品嵌入的學習。為了度量圖中實體之間的連線相似性，通常使用PathSim, 如式（2）所示：

其中Pm~n是實體m和n之間的一條路徑。通常使用三種型別的實體相似性，具體如下：（a）使用者-使用者相似度，目標函式如式（3）所示：

其中||Ui-Uj||F表示矩陣 Frobenius 範數， ɵ=[ɵ1,ɵ2,.....ɵL]表示每個元路徑的權重，U=[u1，u2，...，um]表示所有使用者的潛在向量，S[1-(i,j)]表示使用者i和j在元路徑中的相似度得分。如果使用者共享基於元路徑的高相似性，則使用者-使用者相似性會迫使使用者的嵌入在潛在空間中接近。

（b）物品-物品相似度，目標函式如式（4）所示：

其中 V=[v1,v2,...,vn]表示所有物品的潛在向量.與使用者-使用者相似度類似，如果物品的基於元路徑的相似度很高，則物品的低秩表示應該是接近的。

（c）使用者-物品相似度，目標函式如式（5）所示：

如果基於元路徑的相似度很高，則使用者-物品相似度項將迫使使用者和物品的潛在向量彼此接近。

除了以上三種相似度的方法以外，基於元結構的方法也可以利用實體相似度來預測使用者對未評分物品的興趣，這可以作是KG中的偏好融合。
綜上，上述方法首先從互動矩陣及其基於元結構的相互相似性中學習使用者和物品的潛在向量，然後基於增強的表示進行預測。也可以直接使用相似使用者評分的加權集合來預測對未評分專案的偏好。基於元結構的方法是可以解釋的，因為這些手動設計的元結構透過匹配候選物品與互動物品或目標使用者之間的元結構來為推薦系統提供更多參考資訊。

基於元結構的方法易於實現，大多數工作都是基於模型複雜度相對較低的MF技術。然而，元路徑或元圖的選擇需要領域知識，並且這些元結構對於不同的資料集可能會有很大差異。此外，在某些特定場景下可能不適合應用基於元結構的方法。例如，在新聞推薦任務中，屬於一個新聞的實體可能屬於不同的域，這使得元路徑設計變得困難。

（2）基於路徑嵌入的方法

基於元結構的方法的一個問題是連線模式沒有明確建模，這使得很難學習使用者-物品對和連線模式之間的相互影響。但是，基於路徑嵌入的方法可以顯式地學習連線模式的嵌入。透過學習連線UIKG中的使用者-物品對或IKG 中的物品-物品對的路徑的顯式嵌入，以便直接建模使用者-物品或物品-物品關係。以UIKG中的關係建模為例，假設KG中有K條連線ui和Vj的路徑，路徑p的嵌入表示為hp，則可以透過式（6）獲得ui和Vj之間互動的最終表示：

其中g(∙)是從每個路徑嵌入中彙總資訊的函式，常見的選擇是最大池化操作或加權求和操作。然後，ui和Vj的偏好可以透過式(7)建模：

其中f(∙)是對映使用者-物品對之間的互動表示以及使用者-物品對嵌入到偏好分數的函式。

推薦結果可以透過檢查每個元路徑的權重來解釋。較高的元路徑權重意味著目標使用者和候選物品之間的這種關係在做出決策時更重要。

基於路徑嵌入的方法將使用者-物品對或物品-物品對的連線模式編碼為潛在向量，從而可以考慮目標使用者、候選物品和連線模式的相互影響.此外，大多數模型能夠透過計算合適的路徑並選擇顯著路徑來自動挖掘連線模式，而無需預定義的元結構的幫助。因此，它很可能捕捉到富有表現力的連線模式。但是，如果圖中的關係很複雜，則圖中可能的路徑數量可能會增長到很大。隨意實際上，不可能利用大規模 KG 中每個實體對的所有路徑，這可能會阻礙模型的效能。

綜上，基於連線的方法在很大程度上依賴於連線模式。但是元路徑的表示能力是有限的，這阻礙了傳統的基於元結構的方法的效能。基於路徑嵌入的方法進一步克服了基於元結構的方法的另一個缺點，即需要領域知識和人工配置路徑。這些方法列舉可能的路徑並顯式建模使用者-物品對或物品-物品對之間的關係。然而，基於路徑嵌入的方法在一定程度上犧牲了可擴充套件性，因為這些模型相對複雜，在列舉路徑和學習表示時需要更多的計算。

03 基於傳播的方法

基於嵌入的方法利用知識圖譜中的語義關係來豐富使用者和物品的表示，但難以捕捉實體之間的高階關係。基於連線的方法使用圖中的連線資訊來指導推薦，但是，透過將複雜的使用者物品連線模式分解為單獨的線性路徑，不可避免地會丟失資訊。為了充分利用 KG 中的資訊，基於傳播的方法整合實體和關係的表示以及高階連線模式，以實現更個性化的推薦。基於傳播的方法的主要想法是嵌入傳播，其中常見的實現方式是基於 GNN 技術。這些方法透過聚合KG 中多跳鄰居的嵌入表示來細化實體表示。然後，可以使用使用者和潛在專案的豐富表示來預測使用者的偏好。

根據在訊息傳播過程中細化的實體型別產的差異可以進一步的進行細分為三類。這種方法的挑戰包括：

1. 如何為不同的鄰居分配適當的權重

2. 如何在不同的關係邊上傳播訊息 

3. 如何提高模型的可擴充套件性
   
   

（1）使用者嵌入表示的細化
根據使用者的互動歷史細化使用者嵌入表示。先是構建IKG使用多個關係將互動物品和候選物品連線起來。則使用者可以表示為他們互動物品及其多跳鄰居的組合。具體來說，互動歷史中的物品被選為傳播過程的種子。然後，沿圖中的連結提取多跳三元組集合S[k-ui](k=1,2,...，H),其中S[1-ui]是三元組集(eh,r,et)，頭部實體是使用者ui的互動過的物品列表。學習使用者表示ui的過程可以表述為如下兩步：

（a）透過聚合三元組集合S[k-ui](k=1,2,...，H)的每一層中的實體來計算使用者的嵌入表示o[k-u]。

（b）合併o[k-u](k=1,2,...，H)，得到最終的使用者嵌入表示ou。

由於傳播過程是從使用者互動過的物品開始，到遠鄰結束，這個過程可以看作是在IKG中逐層向外傳播使用者的偏好。因此，這些方法可以解釋為沿著 KG 中的路徑從歷史興趣中傳播使用者的偏好。

在這些方法中，邊權重在IKG 中是明確的。因此，可以選擇連線候選物品和互動專案的顯著路徑，並作為推薦結果的解釋。儘管這些工作同時利用了實體嵌入和高階連線資訊，但只有使用者嵌入表示在傳播過程中得到更新。

（2）物品表示的細化
上面介紹了透過在圖中向外聚合實體來最佳化使用者嵌入表示。另一種方式是透過聚合專案Vj的多跳鄰居N[k-u](k=1,2,...，H)在IKG中向內的嵌入表示來學習候選物品Vj的高階表示。在向內傳播過程中，採用圖注意力機制，其中不同鄰居的權重是由使用者和關係來確定的。主要是考慮到使用者對不同的關係是有不同的偏好的，從而可以確定KG的資訊流。

每一輪傳播過程表示為如下兩步:

（a）透過式（8）聚合實體ei的近鄰：

（b）使用h—1階鄰居嵌入和自嵌入更新實體的h階表示，如式（9）所示：

其中e[0-i]代表實體的初始表示，e[h-i]代表實體的h階表示，它是實體初始表示和來自h跳鄰居的表示的混合。聚合函式將N個鄰居對映到向量∈Rd，更新函式g(∙)是一個非線性函式：Rd ⨉ Rd → Rd。透過迭代地重複這個過程H次，候選物品的表示則包含了來自H跳鄰居的資訊。

綜上，透過IKG中的向內傳播來細化物品的嵌入表示。然而，類似於在 KG 中向外聚合的使用者細化，只有一種型別的實體被細化。

（3）使用者和物品表示的細化
在UIKG中的傳播過程中，使用者、物品及其關聯實體都連線在一個圖中，使用者-物品對之間的互動作為一種關係。使用者嵌入和物品嵌入可以在傳播過程中使用其對應的鄰居進行細化，如式 (8) 和 (9) 所示。

與IKG中的傳播類似，UIKG中邊的權重也是由使用者確定的。因此，這些模型可以透過檢查連線目標使用者和候選物品的顯著路徑來為推薦結果提供解釋。由於使用者被合併為一種型別的節點，因此解釋更加直觀，因為每個互動物品的貢獻都是可用的。透過將使用者納入KG，可以更大程度地探索高階連線模式。缺點是圖中的關係越多，會帶來不相關的實體，可能會誤導使用者在聚合過程中的偏好。

綜上，基於傳播的方法通常計算成本高。隨著圖變大，模型變得難以收斂。為了提高效率，可以使用更快的圖卷積運算，並且通常在每一層中應用鄰域取樣。但是，隨機抽樣不可避免地會導致資訊丟失，無法充分挖掘圖中的知識。

04 基於KG的推薦方法總結

透過上述基於嵌入方法、基於連線方法和基於傳播方法的介紹，可知基於嵌入的方法是最靈活的方法。一方面，使用KGE模組對KG進行編碼相對容易，並且學習到的嵌入可以自然地融入到使用者表示或專案表示中。而在基於連線的方法中，在圖中定義元路徑或元圖可能很繁瑣。對於基於傳播的方法，需要仔細設計聚合和更新部分。另一方面，基於嵌入的方法適用於大多數應用場景，因為外部知識通常在不同的任務中可用。相反，在基於元結構的方法中，元路徑對於不同的應用場景通常是多種多樣的，並且不能泛化到新的資料集。此外，對於特定場景，如新聞推薦，很難定義元路徑並應用基於元結構的方法。同時，基於路徑嵌入的方法和基於傳播的方法都不適用於具有大規模資料集的推薦場景，因為在列舉路徑和鄰居時計算複雜度可能會變得很大。此外，路徑的質量和數量對於基於連線的方法至關重要，因此，稀疏資料集可能無法提供足夠的路徑來挖掘此類方法的關係和模型興趣。然而，基於嵌入的方法和基於連線的方法都未能充分探索 KG中的資訊。近年來，隨著GNN技術的發展，基於傳播的方法已成為一種新的研究趨勢。此外，基於連線的方法和基於傳播的方法都可以用KG中的路徑來解釋，而基於嵌入的方法解釋起來不太直觀。

基於KG推薦的可解釋性

KG中包含有大量的輔助資訊可以用於推薦結果的解釋，主要有以下幾種方法：

01 關係嵌入的注意機制

這種方法主要應用於基於嵌入的方法。注意力機制應用於KG中實體之間關係的嵌入。從不同關係的注意力權重，可以得到每類物品屬性對目標使用者的意義。因此，這種技術可以為推薦提供偏好級別的解釋。

02 定義元路徑或者元圖

所選物品與目標使用者或互動物品之間的關係可以分解為若干元路徑或元圖的組合。透過將元路徑或元圖轉換為可理解的規則，系統可以提供解釋。

03 路徑嵌入的注意機制

對於路徑嵌入方法，連線目標使用者和候選物品的特定路徑的權重可透過注意力機制獲得。每條路徑的權重可以代表每條路徑對使用者的相對重要性。因此，可以根據圖中的顯著路徑來提供解釋。

04 UIKG中的強化學習

透過使用強化學習技術在UIKG中訓練代理，可以挖掘連線使用者物品對的實際路徑。它可以直接顯示KG中的推理過程，而不是為已經選擇的推薦結果尋找事後解釋。因此，推理過程對於目標使用者來說是精確且值得信賴的。

05 提取邊緣權重

基於傳播的方法需要在聚合過程中為每種型別的鄰居分配使用者特定的權重。邊權重控制圖中實體之間的資訊流，可以反映KG中每種關係的重要性。此外，KG中實體之間的邊權重也可以從注意力權重或學習關係矩陣中獲得。因此，可以透過找到連線候選物品和目標使用者的顯著路徑或多跳鄰居中的互動物品來生成解釋。

未來展望 

透過前面的介紹可以知道，基於KG的推薦系統在推薦精準度和推薦結果可解釋性方面具有諸多優勢。在學術界和工業界也已經提出了很好的模型以充分利用KG中的輔助資訊進行個性化精準推薦。但是在一些方向上依然還有很多工作值得深入研究，主要體現在：

01  動態推薦

儘管具有GNN或GCN架構的基於KG的推薦系統取得了良好的效能，但訓練過程非常耗時。因此這樣的模型可以被視為靜態偏好推薦。然而，在某些場景下，例如線上購物、新聞推薦等，使用者的興趣會很快受到社交事件等的影響。在這種情況下，使用靜態偏好建模的推薦可能不足以理解實時興趣。為了捕捉動態偏好，利用動態圖網路可能是一種解決方案。

02  跨域推薦

在跨領域推薦的也有一些研究進展，主要是互動資料在各個領域是不平衡的。例如，在亞馬遜平臺上，圖書子集大於其他域。透過遷移學習技術，可以共享來自具有相對豐富資料的源域的互動資料，以便在目標域中進行更好的推薦。

03  知識增強語言表示

為了提高各種 NLP 任務的效能，有一種趨勢是將外部知識整合到語言表示模型中，使知識表示和文字表示可以相互提煉。將知識增強文字表示策略應用於基於文字的推薦任務中，可以更好地進行表示學習，以提供更準確的推薦。

  參考文獻
[1] Bollacker K, Evans C, Paritosh P, et al. Freebase: a collaboratively created graph database for structuring human knowledge[C]//Proceedings of the 2008 ACM SIGMOD international conference on Management of data. 2008: 1247-1250.

[2] Lehmann J, Isele R, Jakob M, et al. Dbpedia–a large-scale, multilingual knowledge base extracted from wikipedia[J]. Semantic web, 2015, 6(2): 167-195. [3] Suchanek F M, Kasneci G, Weikum G. Yago: a core of semantic knowledge[C]//Proceedings of the 16th international conference on World Wide Web. 2007: 697-706.

[4] Bordes A, Usunier N, Garcia-Duran A, et al. Translating embeddings for modeling multi-relational data[J]. Advances in neural information processing systems, 2013, 26.

[5] Wang Z, Zhang J, Feng J, et al. Knowledge graph embedding by translating on hyperplanes[C]//Proceedings of the AAAI conference on artificial intelligence. 2014, 28(1).

[6] Lin Y, Liu Z, Sun M, et al. Learning entity and relation embeddings for knowledge graph completion[C]//Twenty-ninth AAAI conference on artificial intelligence. 2015.

[7] Ji G, He S, Xu L, et al. Knowledge graph embedding via dynamic mapping matrix[C]//Proceedings of the 53rd annual meeting of the association for computational linguistics and the 7th international joint conference on natural language processing (volume 1: Long papers). 2015: 687-696.

[8] Yang B, Yih W, He X, et al. Embedding entities and relations for learning and inference in knowledge bases[J]. arXiv preprint arXiv:1412.6575, 2014.

[9] Zou X. A survey on application of knowledge graph[C]//Journal of Physics: Conference Series. IOP Publishing, 2020, 1487(1): 012016.

[10] Q. Guo et al., "A Survey on Knowledge Graph-Based Recommender Systems," in IEEE Transactions on Knowledge and Data Engineering, vol. 34, no. 8, pp. 3549-3568, 1 Aug. 2022, doi: 10.1109/TKDE.2020.3028705.

[11] Chicaiza J, Valdiviezo-Diaz P. A comprehensive survey of knowledge graph-based recommender systems: Technologies, development, and contributions[J]. Information, 2021, 12(6): 232.

[12] Choudhary S, Luthra T, Mittal A, et al. A survey of knowledge graph embedding and their applications[J]. arXiv preprint arXiv:2107.07842, 2021.

[13] Gao Y, Li Y F, Lin Y, et al. Deep learning on knowledge graph for recommender system: A survey[J]. arXiv preprint arXiv:2004.00387, 2020.

[14] Wang H, Zhang F, Xie X, et al. DKN: Deep knowledge-aware network for news recommendation[C]//Proceedings of the 2018 world wide web conference. 2018: 1835-1844.

[15] Zhang F, Yuan N J, Lian D, et al. Collaborative knowledge base embedding for recommender systems[C]//Proceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining. 2016: 353-362.

[16] Wang H, Zhang F, Zhao M, et al. Multi-task feature learning for knowledge graph enhanced recommendation[C]//The world wide web conference. 2019: 2000-2010.

作者簡介

於敬，達觀資料聯合創始人，搜尋推薦圖譜產品團隊的總負責人。同濟大學計算機碩士，上海市青年科技啟明星、上海市五一勞動獎章、上海市職工優秀創新成果獎、ACM CIKM演算法競賽國際冠軍等獎項榮譽獲得者。國際計算機學會（ACM）會員、中國計算機學會（CCF）高階會員、上海計算機學會（SCS）會員。曾先後在盛大創新院、盛大文學和騰訊文學從事技術研發工作，在智慧推薦、搜尋引擎、機器學習、大資料技術等領域有豐富的研究和工程經驗，擁有十餘項授權專利。