論文筆記：KDD 2020 Dual Channel Hypergraph Collaborative Filtering

1. 前言

論文連結：https://www.researchgate.net/publication/343777368_Dual_Channel_Hypergraph_Collaborative_Filtering
github：暫無

協同過濾(CF)是當今眾多推薦系統中最流行、最重要的推薦方法之一。現有的基於CF的方法，從矩陣分解到新興的基於圖的方法，雖然得到了廣泛的應用，但是在訓練的資料非常有限的情況下，表現都很差。在本文中，我們首先指出了這種不足的根本原因，並觀察到現有基於CFbased方法內在設計的兩個主要缺點，即

• 1)對使用者和物品的建模不夠靈活
• 2)對被試之間的高階相關性建模不足。在這種情況下，我們提出了一個雙通道超圖協同過濾(DHCF)框架來解決上述問題。

首先，引入雙通道學習策略來學習使用者和專案的表示，這樣這兩種型別的資料就可以在保持其特定屬性的同時優雅地相互連線。其次，使用超圖結構對具有顯式混合高階相關性的使用者和項進行建模。為支援高階關聯的顯式、高效的嵌入傳播，提出了跳超圖卷積(JHConv)方法。在兩個公共基準測試和兩個新的真實資料集上的綜合實驗表明，與其他最先進的方法相比，DHCF可以取得顯著和一致的改進。

大家感興趣可以在github上搜尋ENMF，其中有他們方法與DHCF的對比實驗，相關程式碼可以參考，但是效果好象不是很顯著

2. 背景

對有價值、有吸引力、個性化資訊的需求不斷增長，推動了不同領域的各種推薦系統的開發。推薦系統的核心是一系列的推薦演算法，這些演算法能夠根據使用者的個人特徵對爆炸性的資訊進行有效的篩選。協同過濾(CF)是行業和研究領域中最流行和被廣泛採用的方法之一。簡而言之，CF有一個基本的假設，即當向使用者提供推薦時:行為相似(例如，經常訪問同一個網站)的使用者很可能會分享相似的偏好(例如，音樂、視訊、網站)。為了實現這一點，典型的基於CFbased的方法執行了兩步策略：它首先通過利用歷史互動來區分相似的使用者和專案;然後根據上面收集到的資訊，生成針對特定使用者的推薦。特別地，現有的CF方法可以分為三類。

• 第一種CF方法是基於使用者的方法，它僅僅基於使用者之間的相似性產生推薦，即使用者-使用者相關性，它描述了不同使用者對同一物品的互動之間的關係。
• 類似地，基於專案的方法(如第二類方法)僅使用物品-物品相關性進行推薦。基於使用者的方法和基於物品的方法在預測對使用者有吸引力的物品時，都只採用了部分的歷史資訊，必然會帶來較差的效能。
• 第三種CF方法，包括matrix factorization (MF)和基於圖的方法，努力將使用者和物品不加區分地整合在一起進行推薦。矩陣因子分解方法對共享空間中的使用者和專案進行建模。基於圖的方法將使用者和專案都用圖表示出來，可以共同研究這些使用者和專案之間的相關性，進而提高效能。

雖然CF方法已經被研究了多年，但是侷限性仍然存在，特別是當用於訓練的先驗知識非常有限的時候。為了瞭解這些不足之處，我們深入挖掘現有CF方法的內在機制，發現其侷限性如下:

1. 不靈活的使用者和專案建模。儘管基於圖的CF方法將使用者和專案建模為不可區分的節點，但是在使用者和專案之間不存在必要的區別。當一個商品與大量使用者聯絡在一起時，這個商品會很受歡迎。相反，當使用者與不同的專案連結時，並不表示該使用者是受歡迎的。在這種情況下，需要對使用者和專案進行更靈活的建模。
2. 對高階相關的建模不足。使用者和專案之間的高階關聯對於資料建模是必不可少的。現有的方法嘗試加入高階關聯，而使用的圖結構對高階關聯建模和處理有限制，因為只有成對的連線才能在圖中表示。

在訓練資料不足時，上面的這兩點問題變得更加嚴重。

基於此本文提出了一個雙通道超圖協同過濾(DHCF)框架，該框架可以更好地學習使用者和物品的高階表示。為了處理使用者和物品的不同表示問題，我們在建模過程中採用了分治策略，以便將使用者和項整合在一起，同時仍然保持它們各自的屬性。

具體來說，如圖1所示，首先我們根據使用者和項的給定資料構造多個連線組。在這裡，連線生成規則可以看作是描述原始資料的一個新視角，可以靈活定義。例如，它可以關聯行為相似但沒有直接連線的使用者，因此在連線組中基於該關聯規則構建的關係可以表示高階關聯，從而產生相應的超邊。根據這些生成的連線組，即超邊，我們可以分別為使用者和項構造兩個超圖，即兩個通道的表示。本文提出了一種新的跳變超圖卷積演算法(JHConv)，通過聚合鄰域的嵌入資訊和附加的先驗資訊，有效地在超圖上進行資訊傳播。學習到的表示可以進一步整合以產生對於物品的推薦建議。

圖1給出了基於圖的CF和本文提出的雙通道超圖CF的比較。如圖所示，在給定原始使用者-專案連線的情況下，基於圖的方法生成一個圖結構來學習表示和推薦結果。與上述方法不同的是，DHCF框架可以分別使用兩個超圖中的高階資訊來學習使用者和項的表示。圖1給出了基於圖的CF和本文提出的雙通道hypergraph CF的比較。如圖所示，在給定原始使用者-專案連線的情況下，基於圖的方法生成一個圖結構來學習表示和推薦結果。與上述方法不同的是，DHCF框架可以分別使用兩個超圖中的高階資訊來學習使用者和項的表示。

本文的主要貢獻如下所示

• 為了瞭解使用者和專案的不同表示方式，在CF中引入了分治方法(分別根據超圖的構建進行使用者和物品的表示學習)，它可以將使用者和專案整合在一起進行推薦，同時仍然保持它們的特定屬性，從而形成一個雙通道協同過濾框架。

• 建議使用超圖來顯式地建模使用者和專案之間的高階關聯。同時還提出了一種新的跳躍超圖卷積(JHConv)方法，通過引入先驗資訊來有效地傳播嵌入資訊。

3. DHCF

3.1 超圖及圖卷積定義

超圖關聯矩陣定義

超圖圖卷積定義

其中 ${\Theta }^{(l)}\in {\mathbb{R}}^{C^{(l)}\times C^{(l+1)}}$ 是可學習的引數矩陣

它可以看作是對超圖結構執行頂點-超邊-頂點特徵變換的兩階段細化。超圖關聯矩陣 $H$ 定義了從超邊(列)到頂點(行)的訊息傳遞路徑。類似地，$H^T$ 定義了從頂點(列)到超邊(行)的路徑。然後，通過超圖上的資訊傳播過程來描述超圖卷積。(2)中使用了兩個對角矩陣 $D_v$ 和$D_e$ 進行歸一化，它們對超圖上的訊息傳遞路徑沒有影響。首先，在 $H^T$ 的引導下，根據超邊集合頂點特徵，形成超邊特徵。然後，通過 $H$ 聚合它們的相關超邊特徵，生成細化的頂點特徵。最後,可訓練的 $\Theta$ 和非線性啟用函式 $\sigma (\cdot )$ 。綜上所述，與普通圖(Simple Graph相比，超圖(HyperGraph)自然具有建模高階連線的能力。此外，超圖卷積可以處理高階相關結構。作為一種有效而深入的操作，超圖卷積通過利用頂點-超邊-頂點轉換，使頂點之間的高階資訊互動成為可能。

3.2 A General DHCF Framework

圖2代表了DHCF的總體框架。在較高的層次上，DHCF首先通過雙通道超圖框架學習使用者和專案的兩組嵌入資訊，在此基礎上，通過計算使用者和專案嵌入的內積，得出使用者和專案的偏好矩陣。基於這樣的偏好矩陣，DHCF估計使用者對某一商品感興趣的可能性。

為了對使用者和專案進行準確的建模和表示，DHCF採用了雙通道超圖嵌入框架。最初的嵌入向量 $(e_u\in {\mathbb{R}}^d)/(e_i\in {\mathbb{R}}^d)$ 對單個使用者/專案( $d$ 表示嵌入向量的維數)，通過超圖卷積在兩個階段的傳播實現超圖高階訊息傳遞(high-order message
passing)和聯合資訊更新(joint message updating)進而完善使用者和物品的嵌入表示。

3.2.1 Initialization

給定使用者-專案中 $N$ 個使用者和 $M$ 個專案的互動，分別構造使用者和專案的初始表示和超圖結構，作為DHCF框架的輸入。具體來說，我們為使用者和專案建立了兩個嵌入 $E_u=[e_{u_1},...,e_{u_N}]$ 和 $E_i=[e_{i_1},...,e_{i_M}]$(內嵌查詢表)。

基於此 $k$ 超邊群 { E r 1 ， … ， E r k } \mathcal{\{E_{r_1}，…， E_{r_k}}\} {Er1​​，…，Erk​​}可以根據自定義的關聯規則 { r 1 ， … ， r k } \{r_1，…，r_k\} {r1​，…，rk​}表示使用者和專案。除了被觀察例項直接呈現的互動作用之外，這種關聯規則可以被視為描述原始資料的新視角。例如，它可以關聯行為相似但沒有直接聯絡的使用者，因此基於這種關聯規則在超邊緣組中構建的關係能夠捕獲高階資訊，而不是成對的關係。

然後通過融合不同的超邊群，可以構造具有混合高階關聯的超圖關聯矩陣 $H$:

其中 $f(\cdot )$ 表示超邊融合操作

現在，使用者/物品的初始嵌入和超圖已經為以後的傳播做好了準備。

3.2.2 Phase 1: High-order Message Passing.

為了根據預定義的混合高階關係聚合鄰近訊息，執行如下高階訊息傳遞:

$HConv(\cdot ，\cdot )$ 表示任意超圖卷積操作，如 $HGNNConv$ 。特別是 $HConv(\cdot ,\cdot )$ 這裡純粹是一個資訊傳播對超圖沒有任何可訓練的引數($\Theta$)???。輸出μ和Mi學到複雜的相關性從高階鄰國,分別。這裡的鄰居是一個抽象的描述，它超越了歷史相互作用中的直接聯絡，可以揭示潛在行為空間中的相似性。然後考慮使用 $M_u$ 和 $M_i$ 聯合更新 $E_u$ 和 $E_i$ 。

3.2.3 Phase 2: Joint Message Updating

為了提取具有辨別性的資訊，對使用者和物品定義為:

$JU(\cdot ，\cdot )$ 可以是任意可學習的前饋神經網路，設計用於用第二個引數更新第一個引數。

綜上所述，上述兩個過程構成了一個整合的DHCF層，該層允許對使用者和項的高階關聯進行顯式建模和編碼，並通過強大的超圖結構進一步更新和生成更準確的嵌入。這種精細化的嵌入可以進一步應用到推薦系統的各種下游任務中。

3.3 Jump Hypergraph Convolution

與HGNN比較。JHConv允許模型同時考慮其原始特性和聚合的相關表示，從(2)和(6)可以看出。另一方面，這種類似resnet的殘差連結使模型避免了由於整合了許多附加連線而導致的資訊稀釋。

3.4 High-order Connectivity Definition

在本節中，我們分別介紹了使用者和項在使用者-項二分圖上構造高階連通性的方法。使用者-專案二部圖可以用關聯矩陣 H ∈ { 0 , 1 } N × M H \in \{0,1\}^{N\times M} H∈{0,1}N×M 表示。

3.4.1 On Users

Definition 1: Item’s k-order reachable neighbors

在使用者-項互動圖中，更具體地說是二部圖中，如果 $ite{m}_i$和 $ite{m}_j$ 之間存在一個相鄰頂點序列(即一條路徑)，且該路徑上的使用者數小於$k$ ，則 $ite{m}_i$ ($ite{m}_j$)為 $ite{m}_j$ ($ite{m}_i$)的 $k$ 階可達鄰居。

Definition 2: Item’s k-order reachable users.

在專案-使用者二分圖中，如果 $use{r}_j$ 和 $ite{m}_k$ 存在直接互動，則 $use{r}_j$ 是 $ite{m}_i$ 的 $k$ 階可達近鄰，$ite{m}_k$ 是 $ite{m}_i$ 的 $k$ 階可達近鄰。

對於 $ite{m}_i$，其 $k$ 階可達使用者集稱為 $B_u^k(i)$。從數學上講，超圖可以定義在一個集合族上，其中每個集合代表一個超邊。因此，這裡可以通過某項的 $k$ 階可達使用者集合構建超邊，然後根據使用者間的 $k$ 階可達規則構建高階超邊群，可以表示為:

進而對於物品的 $k$ 階可達矩陣可以表示為 A i k ∈ { 0 , 1 } M × M A_i^k \in \{0,1\}^{M \times M} Aik​∈{0,1}M×M

其中 $pow(M,k)$ 為計算給定矩陣M的 $k$ 次冪的函式， H ∈ { 0 , 1 } N × M H \in \{0,1\}^{N\times M} H∈{0,1}N×M為使用者-產品二部圖的關聯矩陣。那麼由使用者間 $k$ 階可達規則構造的超邊群關聯矩陣 H B u k ∈ { 0 , 1 } N × M H_{B^k_u} \in \{0,1\}^{N×M} HBuk​​∈{0,1}N×M可表示為:

假設我們有一個通過k-order hyperedge組建立在使用者訪問規則,最後混合超圖所代表的高階使用者之間的聯絡可以顧融合hyperedge組。由於超圖在多模融合中的優勢，可以對超邊群關聯矩陣進行簡單的連線操作 $\cdot ||\cdot$ 用於超邊群融合 $f(\cdot )$ 。最後，使用者的超圖關聯矩陣 $H_u$ 可表示為:


通過這種方式，我們可以為使用者和物品定義高階連線。圖3展示了 $k$ 分別為1和2時的使用者高階連通性示例。

3.4.2 On Items

使用者的 $k$ 階可達鄰居和使用者的k階可達項可以用類似的方式對稱定義。具體而言，使用者的 $k$ 階可達矩陣為 A u k ∈ { 0 , 1 } N × N A^k_u \in \{0,1\}^{N\times N} Auk​∈{0,1}N×N，可表示為:

由項間 $k$ 階可達規則構造的超邊群關聯矩陣 H B i k ∈ { 0 , 1 } M × N H_{B^k_i} \in \{0,1\}^{M\times N} HBik​​∈{0,1}M×N可表示為:

則專案的超圖關聯矩陣 $H_i$ 可表示為:

3.5 DHCF Layer Configurations

3.5.1 Construction of Hybrid High-order Connections

對於每個使用者/物品，我們分別設 $k$ 為1和2，獲取其 $k$ 階鄰居 $B^1$ 和 $B^2$ ，然後為每個使用者/物品構造兩種高階關聯。然後我們分別引入這兩個高階關聯關係來構造使用者/物品的超圖，其關聯矩陣分別為 $H_u$ 和 $H_i$:

值得注意的是，提議的DHCF框架是普遍適用和可擴充套件的。換句話說，雖然採用B1和B2來探索高階連通性資訊，但模型對此沒有具體要求，這意味著其他靈活的高階相關定義也可能被納入到所提議的框架中。

3.5.2 Configuration of an Integrated DHCF Layer

給出了使用者嵌入 $E_u$ 、物品嵌入 $E_i$、使用者 $H_u$ 和物品 $H_i$ 上的超圖關聯矩陣，給出了高階訊息傳遞和聯合訊息更新的詳細定義。
Phase 1:
對於高階訊息傳遞，採用(6)中介紹的JHConv來傳播超圖上的使用者/專案嵌入，同時保留原始資訊。在這裡，使用者表示和物品表示可以通過這種雙通道方式學習
Phase 2:
對於聯合訊息更新，我們在前一階段的輸出上應用一個共享的完全連線層。具體配置如下:
其中$\cdot ||\cdot$為連線操作。$MLP1(\cdot )$ 代表一個完全連線層與可訓練的 $\Theta$ ,只有採用 $JU(\cdot \cdot )$ 的第一個引數。
傳播規則的矩陣形式為了對超圖上的嵌入傳播規則有一個大致的概況，給出它的矩陣形式:

其中 H ∈ { 0 , 1 } N × M H \in \{0,1\}^{N\times M} H∈{0,1}N×M是一個useritem二部圖的初始關聯矩陣。$D_{u_v}$、$D_{u_e}$和 $D_{i_v}$、$D_{i_e}$是對角矩陣，分別表示使用者超圖和專案超圖的頂點度和超邊度。$E_u^{(l)}$、$E_i^{(l)}$和 $E_u^{(l+1)}$、$E_i^{(l+1)}$分別是l層的輸入/輸出使用者嵌入和項嵌入。給出使用者-專案二部圖 $H$ 的原始關聯矩陣，首先在使用者和專案上分別構造具有混合高階關聯的超圖 $H_u$ 和 $H_i$ 。然後將 $E_u^{(l)}$、$H_u$、$E_i^{(l)}$和 $H_u$ 送入階段1和階段2，生成更新的使用者嵌入 $E_u^{(l+1)}$和條目嵌入 $E_i^{(l+1)}$，用於下一次傳播或最終的連結預測。

3.6 Optimization

在本文中，關注的是有限的內隱反饋，與評分和評論等外顯反饋相比，這種反饋在實踐中更普遍，但也更有缺陷和固有的噪聲。具體來說，在隱式反饋中，只有積極的反饋是可見的，其餘的資料都被視為缺失資料，因為沒有辦法判斷使用者是否不喜歡或忽略了該產品。因此，選擇logistic優化，即兩兩優化，而不是點的方法。它有一個成對的假設，即給定使用者 $u$ 更喜歡觀察到的物品 $i^{+}$而不是未觀察到的物品 $i^{-}$，因此觀察到的物品的排名應該更高。儘管存在固有的噪聲，但大量的未觀測項彌補了這一缺陷，有助於建立魯棒推薦系統。進一步利用成對貝葉斯個性化排序(BPR)優化準則作為損失函式:

$\mathcal{T}$ 表示兩兩訓練資料，其中假設使用者 $u$ 更喜歡項 $i^{+}$，而不喜歡項 $i^{-}$; $(\cdot )$ 為logistics型函式; $\Theta$ 表示所有模型引數和 $\lambda$ 模型特定的正則化引數,以避免過度擬合。

4. 實驗