盤點 | AAAI2020中的四篇推薦系統好文

AAAI中推薦系統的文章並不多，目之所及處僅有四篇。內容上覆蓋了評論推薦、多目標推薦以及圖神經網路等話題。

本文基於AAAI中的這四篇推薦系統論文，展開瞅一瞅它們都講了些什麼。

第一篇文章：可解釋評論的推薦中的非對稱層次網路與專注的互動

Asymmetrical Hierarchical Networks with Attentive Interactions for Interpretable Review-Based Recommendation

論文連結: https://arxiv.org/pdf/2001.04346.pdf

關鍵詞：Hierarchical ; Review

基於使用者評論的推薦確實是一個非常值得研究的主題。大多數推薦系統都是為了挖掘使用者顯式行為背後的隱式反饋，試圖去Get到使用者的意圖。與這樣的動機相比，評論是使用者主動給出的意圖，相比之下更加準確。現有的方法通常將給定使用者或物品的所有評論合併到一個長文件中，然後以相同方式處理使用者和物品文件。

但是，實際上，這兩組評論是截然不同的。使用者的評論反映了他們購買的各種商品，因此其主題非常不同，而一項商品的評論僅與該單個商品相關，因此在區域性上是同質的。看上去怎麼像繞口令似的，那麼我簡單地翻譯一下：

我買了一條新的裙子並且對這條裙子給出了評論，我這個評論是隻針對我這次買的這條裙子的。你如果拿我這條評論去預測我對其他裙子的偏好，這就有問題了。

在這項工作中，我們開發了一種新穎的神經網路模型，該模型通過非對稱的注意力模組正確地解決了這一重要差異。形式上分為兩個模組：

• 使用者模組學習僅關注與目標物品相關的那些訊號

• 物品模組學習有關物品屬性的最顯著內容

文章中所提出的多層次的正規化解釋了這樣一個事實，就是說並非所有的評論都是同樣有用的，也不是每個評論中的所有句子都一樣中肯。

本文的貢獻是極大的：在這項工作中強調了評論推薦中的不對稱的注意力問題。為了解決這個問題，提出了一種靈活的神經結構，即AHN，其特點是它的非對稱注意模組來區分使用者嵌入和物品嵌入與評論的學習，以及它的層次正規化來提取細粒度的句子和評論訊號。

• 識別了不對稱注意力問題，並提出基於評論的推薦。

• 提出了AHN，一種新的深度學習架構，它不僅捕獲了評論資料的不對稱和層次特徵，同時還支援結果的可解釋性。

換言之，這是一個能夠”具體評論具體分析“的新穎方法，值得一看~

---

第二篇文章：會話推薦系統的貝葉斯方法

A Bayesian Approach to Conversational Recommendation Systems

論文連結: https://arxiv.org/pdf/2002.05063.pdf

關鍵詞：Bayesian; Conversational RS

本文提出了一個基於貝葉斯方法的會話推薦系統。在與使用者進行任何互動之後，將更新物品上的概率質量函式，資訊理論標準將優化互動的形狀，並確定何時應終止會話並因此推薦最可能的專案。

作者從基本結構判斷中得出用於建模互動的引數的先驗概率的專用啟發技術。這樣的先驗資訊可以與歷史資料結合，以區分具有不同推薦歷史的物品。

在純貝葉斯方法的基礎上，作者提出了一種新的自動推薦方法。該方法假設系統和使用者之間存在動態互動，從而提供自定義和自適應的推薦。本文所介紹的框架為未來的發展奠定了基礎，其中問題的動態生成是為了改善系統的會話性質。這可以基於一個自然語言生成系統，與物品屬性的結構化概率描述和使用者需求的激發互動。

---

第三篇文章：多目標推薦系統的多梯度下降

Multi-Gradient Descent for Multi-Objective Recommender Systems

論文連結: https://arxiv.org/pdf/2001.00846.pdf

關鍵詞：Multi-Gradient Descent; Multi-Objective RS

推薦系統需要反映應用它們的環境的複雜性。我們對可能有益於使用者的知識越瞭解，推薦系統的目標就越多。此外，除了法律和道德約束外，可能還有多個利益相關者-賣方，買方，股東。迄今為止，為具有相關或不具有相同規模的多個目標同時進行優化是非常困難的。

推薦系統的複雜應用場景，使我們又需要多目標模型，但是又很難做好。哎呀，成人的世界就是這麼的複雜。

作者為推薦系統（MGDRec）引入了隨機的多梯度下降方法來解決此問題。不僅如此，而且通過梯度歸一化，將具有不同規模的根本不同的目標組合到一個一致的框架中。文中表明，不相關的目標（如優質產品的比例）可以提高準確性。通過使用隨機性，避免了計算完整梯度的陷阱，併為其適用性提供了明確的條件。

該文章的主要思想如下：

• 本文利用多梯度下降法，結合不同的目標，找到一組多目標推薦問題的解決方案。

• 本文將梯度歸一化的新思想引入到多梯度推薦中。這允許我們通過使用子梯度來放鬆單個目標的可微性條件，將根本不同的目標組合到同一個目標函式中。這種靈活性允許我們處理來自多個涉眾的目標。

---

第四篇文章：記憶增強圖神經網路的序列化推薦

Memory Augmented Graph Neural Networks for Sequential Recommendation

論文連結: https://arxiv.org/pdf/1912.11730.pdf

關鍵詞：GNN; Sequential RS

使用者與物品的互動的時間順序可以揭示許多推薦系統中時間演變和順序的使用者行為。使用者將與之互動的專案可能取決於過去訪問的專案。但是，使用者和專案的大量增加使得順序推薦系統仍然面臨著不小的挑戰：

• 1. 短期使用者興趣建模的難度；

• 2. 難以吸引長期使用者興趣；

• 3. 物品共現模式的有效建模。

為了解決這些挑戰，提出了一種記憶體增強圖神經網路（MA-GNN），以捕獲長期和短期的使用者興趣。

具體來說，作者應用圖神經網路在短期內為物品上下文資訊建模，並利用共享記憶體網路捕獲物品之間的長期依賴關係。除了對使用者興趣進行建模外，還採用了雙線性函式來捕獲相關專案的共現模式。結果證明了我們的模型對Top-K序列化推薦任務的有效性。

本文的主要觀點概括如下：

• 為了對使用者的短期和長期興趣進行建模，提出了一種記憶增強的圖神經網路來捕捉物品的短期上下文資訊和長期依賴關係。

• 為了有效地融合短期和長期興趣，作者在GNN框架中加入了一個閘門機制，以自適應地結合這兩種隱藏的表示。

• 為了顯式地建模物品共現模式，使用了雙線性函式來捕捉物品之間的特徵相關性。

MA-GNN的模型架構

 

 

ECAI，全稱為 European Conference on Artificial Intelligence，是歐洲主要的人工智慧會議:

ECAI2020，第 24 屆歐洲人工智慧大會，此次會議共收到了 1443 篇有效論文，其中 1363 篇完整論文和 80 篇短論文，最終接收了 365 篇完整論文和 36 篇短文，接受率為 26.8％:

• Joint Modeling of Local and Global Behavior Dynamics for Session-based Recommendation.

一篇建模使用者全域性與區域性行為動態性的基於會話的推薦系統。

• Directional Adversarial Training for Recommender Systems.

這篇論文中，設計了一種對抗訓練（DAT）策略，即在適當的限制下，使用者和物品的嵌入向量都朝著其相似的鄰居方向變化，通過將這種協同過濾訊號作為擾動注入推薦系統模型的訓練過程中的，使得模型的泛化效果得到了較大提升。

• Shallow Neural Models for Top-N Recommendation.

這篇論文是我比較感興趣的，因為目前的推薦模型非深即寬，加深結構可以增加泛化能力，加寬結構可以提取交叉特徵。因此大部分研究都是基於此展開的，要麼加深網路，要麼加寬網路。所以看到該論文題目，用於 TopN 推薦的淺神經網路，比較好奇是如何利用這樣的淺層結構來打敗複雜模型產生 SOTA 效能的，期待一讀。

 

國際頂級學術會議WWW2020定在2020年4月20-24日於中國臺灣舉辦。受COVID-19疫情影響(疫情趕緊過去吧)，大會將線上上舉行。

本次會議共收到了1129篇論文投稿，錄用217篇，錄取率僅為19.2%。其中關於推薦系統的論文大約38篇，推薦系統佔比17.5%，可見推薦系統的研究受到學術界的廣泛關注。另外，值得注意的是，接收的推薦系統論文中大部分都是與工業界合作的產物，因此不管是學術界還是工業界，推薦系統都是研究的熱點與重點。

針對這38篇論文，我們進行了梳理分類，如下表所示:

可見，推薦系統應用的文章以及序列化推薦的文章佔比較大；隨後是提升推薦效率、社會化推薦、常規推薦以及利用強化學習推薦；其次是興趣點推薦、冷啟動問題研究、推薦系統中的安全性、推薦公平性以及可解釋推薦的文章；最後是各有一篇跨域推薦、利用知識圖推薦、對話推薦系統以及用於點選率預估的推薦。

Practical RS:

• Graph Enhanced Representation Learning for News Recommendation

• Weakly Supervised Attention for Hashtag Recommendation using Graph Data

• Personalized Employee Training Course Recommendation with Career Development Awareness

• Understanding User Behavior For Document Recommendation

• Recommending Themes for Ad Creative Design via Visual-Linguistic Representations

• paper2repo: GitHub Repository Recommendation for Academic Papers

Sequential RS:

• Adaptive Hierarchical Translation-based Sequential Recommendation

• Attentive Sequential Model of Latent Intent for Next Item Recommendation

• Déjà vu: A Contextualized Temporal Attention Mechanism for Sequential Recommendation

• Intention Modeling from Ordered and Unordered Facets for Sequential Recommendation

• Future Data Helps Training: Modeling Future Contexts for Session-based Recommendation

• Keywords Generation Improves E-Commerce Session-based Recommendation

 

Effcient RS:

• Learning to Hash with Graph Neural Networks for Recommender Systems

• LightRec: a Memory and Search-Efficient Recommender System

• A Generalized and Fast-converging Non-negative Latent Factor Model for Predicting User Preferences in Recommender Systems

• Efficient Non-Sampling Factorization Machines for Optimal Context-Aware Recommendation

•  

•   

Social RS:

• Efficient Non-Sampling Factorization Machines for Optimal Context-Aware Recommendation

• The Structure of Social Influence in Recommender Networks

• Few-Shot Learning for New User Recommendation in Location-based Social Networks

•  

Explainability for RS:

•  

• Directional and Explainable Serendipity Recommendation

• Dual Learning for Explainable Recommendation: Towards Unifying User Preference Prediction and Review Generation

•  

•  

POI RS:

• Next Point-of-Interest Recommendation on Resource-Constrained Mobile Devices

• A Category-Aware Deep Model for Successive POI Recommendation on Sparse Check-in Data

•  

•  

General RS:

•  

• Efficient Neural Interaction Function Search for Collaborative Filtering

• Learning the Structure of Auto-Encoding Recommenders

• Deep Global and Local Generative Model for Recommendation

•  

•  

Fairness in RS:

•  

• Hierarchical Visual-aware Minimax Ranking Based on Co-purchase Data for Personalized Recommendation

• FairRec: Two-Sided Fairness for Personalized Recommendations in Two-Sided Platforms

•  

•  

RL for RS:

•  

• Off-policy Learning in Two-stage Recommender Systems

• Hierarchical Adaptive Contextual Bandits for Resource Constraint based Recommendation

•  

•  

Cross-domain RS:

• Exploiting Aesthetic Preference in Deep Cross Networks for Cross-domain Recommendation

•  

Knowledge Graph RS:

•  

• Reinforced Negative Sampling over Knowledge Graph for Recommendation

•  

Conversational RS:

•  

• Latent Linear Critiquing for Conversational Recommender Systems

CTR for RS:

• Adversarial Multimodal Representation Learning for Click-Through Rate Prediction

 

首先，我們來說一說今年的IJCAI。好像一直在被吐槽，從一開始的滅霸操作5147 篇文章直接Summary Reject掉2191篇文章（拒稿率42%）

Sequential RS

•  

• Adversarial Oracular Seq2seq Learning for Sequential RecommendationPengyu Zhao, Tianxiao Shui, Yuanxing Zhang, Kecheng Xiao, Kaigui Bian

• Collaborative Self-Attention Network for Session-based RecommendationAnjing Luo, Pengpeng Zhao, Yanchi Liu, Fuzhen Zhuang, Deqing Wang, Jiajie Xu, Junhua Fang, Victor S. Sheng

• Memory Augmented Neural Model for Incremental Session-based RecommendationFei Mi, Boi Faltings

•  

•  

Cross-Domain RS

•  

• A Graphical and Attentional Framework for Dual-Target Cross-Domain RecommendationFeng Zhu, Yan Wang, Chaochao Chen, Guanfeng Liu, Xiaolin Zheng

• Learning Personalized Itemset Mapping for Cross-Domain RecommendationYinan Zhang, Yong Liu, Peng Han, Chunyan Miao, Lizhen Cui, Baoli Li, Haihong Tang

•  

•  

POI RS

•  

• Contextualized Point-of-Interest RecommendationPeng Han, Zhongxiao Li, Yong Liu, Peilin Zhao, Jing Li, Hao Wang, Shuo Shang

• Discovering Subsequence Patterns for Next POI RecommendationKangzhi Zhao, Yong Zhang, Hongzhi Yin, Jin Wang, Kai Zheng, Xiaofang Zhou, Chunxiao Xing

• An Interactive Multi-Task Learning Framework for Next POI Recommendation with Uncertain Check-insLu Zhang, Zhu Sun, Jie Zhang, Yu Lei, Chen Li, Ziqing Wu, Horst Kloeden, Felix Klanner

•  

Explainable RS

•  

• Explainable Recommendation via Interpretable Feature Mapping and Evaluation of ExplainabilityDeng Pan, Xiangrui Li, Xin Li, Dongxiao Zhu

• Synthesizing Aspect-Driven Recommendation Explanations from ReviewsTrung-Hoang Le, Hady W. Lauw

• Towards Explainable Conversational RecommendationZhongxia Chen, Xiting Wang, Xing Xie, Mehul Parsana, Akshay Soni, Xiang Ao, Enhong Chen

•  

•  

News RS

• User Modeling with Click Preference and Reading Satisfaction for News RecommendationChuhan Wu, Fangzhao Wu, Tao Qi, Yongfeng Huang

• HyperNews: Simultaneous News Recommendation and Active-Time Prediction via a Double-Task Deep Neural NetworkRui Liu, Huilin Peng, Yong Chen, Dell Zhang

•  

•  

Cold-Start in RS 

•  

• Internal and Contextual Attention Network for Cold-start Multi-channel Matching in RecommendationRuobing Xie, Zhijie Qiu, Jun Rao, Yi Liu, Bo Zhang, Leyu Lin

•  

 General RS

• Deep Feedback Network for RecommendationRuobing Xie, Cheng Ling, Yalong Wang, Rui Wang, Feng Xia, Leyu Lin

• Intent Preference Decoupling for User Representation on Online Recommender SystemZhaoyang Liu, Haokun Chen, Fei Sun, Xu Xie, Jinyang Gao, Bolin Ding, Yanyan Shen

• Neural Tensor Model for Learning Multi-Aspect Factors in Recommender SystemsHuiyuan Chen, Jing Li

 

推薦9篇近期社會化推薦論文

 

 

Enhance Social Recommendation with Adversarial Graph Convolutional Networks

作者: Junliang Yu, Hongzhi Yin, Jundong Li, Min Gao, Zi Huang, Lizhen Cui

簡介: 目前的社交資訊通常在真實的推薦系統中不能充分發揮作用，主要是有以下原因：1）所利用的社交資訊鄰居資料相當有限；2）存在很多噪聲；3）社交關係實際上是多面的，而非單一的。現有的大多數社交推薦模型僅考慮社會網路中的同質性，而忽略了這些缺點。在本文中，提出了一個基於圖卷積網路（GCN）的深度對抗框架來解決這些問題。

 

 

 

Trust in Recommender Systems: A Deep Learning Perspective

作者: Manqing Dong, Feng Yuan, Lina Yao, Xianzhi Wang, Xiwei Xu, Liming Zhu

簡介: 現有推薦系統的一個主要挑戰是，由於缺乏合理的解釋和推薦結果不準確，導致使用者可能不信任推薦系統。因此，一個值得信賴的推薦系統變得至關重要。 此論文提供了三類信任感知推薦系統的系統摘要：利用使用者的社交關係的社交感知推薦系統；魯棒的推薦系統，可過濾不真實的噪聲（例如垃圾郵件傳送和虛假資訊）或增強抗攻擊性；可解釋的推薦系統，提供推薦物品的說明。其專注於基於深度學習技術的工作，這是推薦研究中的一個新興領域。

 

 

Multi-faceted Trust-based Collaborative Filtering

作者: Noemi Mauro, Liliana Ardissono, Zhongli Filippo Hu

摘要: 許多協同推薦系統利用社會相關性理論來提高推薦精度。但是，它們專注於使用者之間的顯式關係，而忽略了可能有助於確定使用者的全球聲譽的其他型別的資訊。例如，公眾認可的素質。我們有興趣瞭解這些附加型別的反饋是否以及何時改善Top-N推薦。為此，我們提出了一個多方面的信任模型，將社交連結代表的區域性信任與社交網路提供的各種型別的全域性信任證據進行整合。

 

 

Modelling High-Order Social Relations for Item Recommendation

作者: Yang Liu, Liang Chen, Xiangnan He, Jiaying Peng, Zibin Zheng, Jie Tang

簡介: 線上社交網路的普及使得研究社交關係如何影響使用者的選擇成為必要。但是，大多數現有方法僅利用一階社會關係，即連線到目標使用者的直接鄰居。高層的社會關係，例如，朋友的朋友，在很大程度上被忽略了。在這項工作中，其專注於對社交網路中高階鄰居的間接影響進行建模，以提高商品推薦的效果。與主流社交推薦方法不同，後者通過社交關係對模型學習進行正則化，相反，該工作建議在預測模型中直接考慮社交關係，旨在學習更好的使用者嵌入來改進推薦。為了解決高階鄰居隨訂單大小急劇增加的挑戰，我們建議沿社交網路遞迴“傳播”嵌入，以將高階鄰居的影響有效地注入使用者表示中。

 

 

Secure Social Recommendation based on Secret Sharing

作者: Chaochao Chen, Liang Li, Bingzhe Wu, Cheng Hong, Li Wang, Jun Zhou

簡介: 如今，隱私保護機器學習已經在業界和學術界引起了廣泛關注。同時，推薦系統已被許多商業平臺（例如，亞馬遜）廣泛採用，並且它們主要基於使用者-專案互動而構建。此外，社交平臺（例如Facebook）具有豐富的使用者社交資訊資源。眾所周知，在社交平臺（例如Facebook）上豐富的社交資訊對於推薦系統很有幫助。將社交資訊與使用者專案評分結合起來以改善總體推薦效能。現有的大多數推薦模型都是基於社會資訊可用的假設而建立的。但是，由於某些原因，不同的平臺通常不願意（或不能）共享其資料。在本文中，首先提出了一個SEcure社會建議書（SeSoRec）框架。然後，提出了一種基於祕密共享的矩陣乘法（SSMM）協議，以優化SeSoRec並從理論上證明其正確性和安全性。通過應用小批量梯度下降，SeSoRec在計算和通訊方面都具有線性時間複雜度。

 

 

DiffNet++: A Neural Influence and Interest Diffusion Network for Social Recommendation

作者: Le Wu, Junwei Li, Peijie Sun, Richang Hong, Yong Ge, Meng Wang

簡介: 社交推薦，可以利用使用者之間的社交聯絡來預測使用者的未知偏好，這可以減輕基於協同過濾的推薦中的資料稀疏性問題。早期的方法依靠利用每個使用者的一階社交鄰居的興趣來進行更好的使用者建模，而未能從全域性社交網路結構中建模社交影響力擴散過程。最近，提出的用於社交推薦的神經影響力傳播網路（即DiffNet）的初步工作，該模型對遞迴社交傳播過程進行建模以捕獲每個使用者的高階關係。但是，由於使用者在使用者-使用者社交網路和使用者-專案興趣網路中都扮演著中心角色，因此僅對社交網路中的影響力擴散過程進行建模將忽略使用者在使用者-專案興趣中的潛在合作興趣。在本文中，提出了DiffNet ++，這是DiffNet的改進演算法，可以在統一框架中對神經影響擴散和興趣擴散進行建模。 

 

 

Attentive Geo-Social Group Recommendation

作者: Fei Yu, Feiyi Fan, Shouxu Jiang, Kaiping Zheng

簡介: 社交活動在人們的日常生活中起著重要的作用。對於基於社交活動的推薦系統，重要的是不僅要擁有活動資訊，而且要擁有個人的社會關係。由於地理社交網路和位置感知移動裝置的廣泛使用，海量的地理社交資料現在很容易被推薦系統利用。在本文中，提出了一種新穎的組推薦方法，以給目標使用者推薦活動位置和有可能加入活動的使用者組。 另外，提出一種注意力機制來模擬目標使用者在滿足社會約束的候選使用者組中的影響。它有助於檢索最佳的使用者組和活動主題候選者，並解釋其組決策過程。一旦檢索到使用者組和主題，就可以使用一種新穎有效的空間查詢演算法SPA-DF在給定使用者組和候選活動主題的約束下確定活動位置。

 

 

Generating Reliable Friends via Adversarial Training to Improve Social Recommendation

作者: Junliang Yu, Min Gao, Hongzhi Yin, Jundong Li, Chongming Gao, Qinyong Wang

簡介: 最近有關社交推薦的大多數研究都假設人們與朋友共享相似的偏好，並且線上社交關係有助於改善傳統的推薦系統。但是，由於線上社交網路非常稀疏且大多數使用者只有少數朋友，因此這種假設通常難以成立。此外，由於建立社交網路過程中的隨機性，外顯的朋友可能不會共享相似的興趣。因此，為每個使用者發現許多可靠的朋友在推進社交推薦中起著重要的作用。與其他專注於提取有價值的顯式社交連結的研究不同，我們的工作注重在觀察到的和未觀察到的社交網路中識別可靠的朋友。具體而言，在本文中，提出了一個基於生成對抗網路（GAN）的端到端社會推薦框架。

 

Tripartite Heterogeneous Graph Propagation for Large-scale Social Recommendation

作者: Kyung-Min Kim, Donghyun Kwak, Hanock Kwak, Young-Jin Park, Sangkwon Sim, Jae-Han Cho, Minkyu Kim, Jihun Kwon, Nako Sung, Jung-Woo Ha

簡介: 圖神經網路（GNN）已成為一種有前景的關係表示方法，包括應用在推薦系統中。但是，社交圖的各種具有挑戰性的問題阻礙了GNN在社交推薦中的實際使用，例如它們複雜的噪聲連線和高度的異質性。GNN的過度平滑也是基於GNN的社會推薦的障礙所在。 本文提出了一種新的圖嵌入方法異構圖傳播（HGP）來解決這些問題。  HGP使用group-user-item tripartite graph作為輸入，以減少社交圖中的邊數和路徑的複雜性。為了解決過度平滑的問題，HGP將節點嵌入在基於個性化PageRank的傳播方案下，分別用於組使用者圖和使用者專案圖。 最後使用注意力機制整合來自每個圖的節點嵌入。

 

 

第43屆國際資訊檢索研究和發展大會（SIGIR）將於2020年7月25-30日在美麗的中國西安舉行。此次大會共收到了555篇長文投稿，錄用147篇，長文錄取率26.4%；共收到了507篇短文投稿，錄用153篇，短文錄取率30%。

正因為推薦與搜尋是解決資訊過載的兩種有效途徑，因此雖然是關於檢索的會議，但通過下圖可以看出推薦（Recommendation）佔據了很大比例，與搜尋（Search+Retrieval）不相上下。另外，圖與網路（Graph/Network）資料成為研究的主要物件，畢竟許多待研究的物件都可以表示為圖。值得注意的是，神經網路（Neural）仍然排在前列；融合知識（Knowledge）的搜尋/推薦系統也被許多研究者研究。除此之外，強化學習也出現在了排行榜中，可見利用強化學習的思想來迭代優化搜尋/推薦逐漸成為流行。

 另外，還注意到今年SIGIR開辦了一場關於對話推薦/檢索的Tutorial，感興趣的小夥伴可以多多關注。想提前瞭解對話推薦（Conversational RS，CRS）的朋友，可以公眾號後臺回覆【CRS】獲取對話推薦系統最新綜述。

推薦論文列表

本次只對大會的長文（Full Papers）進行梳理，因此共整理出63篇關於推薦系統的論文。為了方便檢視與瞭解，我們主要將其分為了以下幾類：Sequential RS，Graph-based RS，Cold-start in RS，Efficient RS，Knowledge-aware RS，Robust RS，Group RS，Conversational RS，RL for RS，Cross-domain RS，Explainable RS，POI RS。另外，對於有一些不包含在以上類別的文章，我們統一歸為了Others。當然，以上分類仁者見仁，智者見智，目的是給大家一個相對清晰的結構。具體的各個類別所包含的論文數見下表。

可見，序列化推薦的文章佔比較大；隨後是基於圖的推薦、魯棒的推薦系統；其次是提升推薦效率的文章、基於知識的推薦以及解決冷啟動問題的推薦文章、組推薦、對話推薦系統；最後是強化學習推薦、跨域推薦、可解釋推薦以及興趣點推薦。當然其他類別中也包含了許多有意思的研究，比如消除推薦偏置（Bias）的文章、分散式訓練推薦系統的文章以及如何retrain推薦系統的文章等。

接下來是分類好的推薦論文列表，大家可以根據自己的研究子方向進行精讀。

Sequential RS

• Incorporating User Micro-behaviors and Item Knowledge into Multi-task Learning for Session-based Recommendation.

• GAG: Global Attributed Graph Neural Network for Streaming Session-based Recommendation.

• Sequential Recommendation with Self-attentive Multi-adversarial Network.

• A General Network Compression Framework for Sequential Recommender Systems.

• Next-item Recommendation with Sequential Hypergraphs.

• KERL: A Knowledge-Guided Reinforcement Learning Model for  Sequential Recommendation.

• Time Matters: Sequential Recommendation with Complex Temporal Information.

• Modeling Personalized Item Frequency Information for Next-basket Recommendation.

Graph-based RS

• Learning to Transfer Graph Embeddings for Inductive Graph based Recommendation.

• Joint Item Recommendation and Attribute Inference: An Adaptive Graph Convolutional Network Approach.

• Multi-behavior Recommendation with Graph Convolution Networks.

• Hierarchical Fashion Graph Network for Personalised Outfit Recommendation.

• Neighbor Interaction Aware Graph Convolution Networks for Recommendation.

• Disentangled Representations for Graph-based Collaborative Filtering.

Cold-start RS

• Content-aware Neural Hashing for Cold-start Recommendation.

• Recommending Podcasts for Cold-Start Users Based on Music Listening and Taste.

• Recommendation for New Users and New Items via Randomized Training and Mixture-of-Experts Transformation.

• AR-CF: Augmenting Virtual Users and Items in Collaborative Filtering for Addressing Cold-Start Problems.

Efficient RS

• Lightening Graph Convolution Network for Recommendation.

• A General Knowledge Distillation Framework for Counterfactual Recommendation via Uniform Data.

• Beyond User Embedding Matrix: Learning to Hash for Modeling Large-Scale Users in Recommendation.

• Parameter-Efficient Transfer from Sequential Behaviors for User Modeling and Recommendation.

• Online Collective Matrix Factorization Hashing for Large-Scale Cross-Media Retrieval.

Knowledge-aware RS

• Jointly Non-Sampling Learning for Knowledge Graph Enhanced Recommendation.

• Fairness-Aware Explainable Recommendation over Knowledge Graphs.

• Attentional Graph Convolutional Networks for Knowledge Concept Recommendation in MOOCs in a Heterogeneous View.

• Make It a CHORUS: Context- and Knowledge-aware Item Modeling for Recommendation.

• CKAN: Collaborative Knowledge-aware Attentive Network for Recommender Systems.

Robust RS

• How Dataset Characteristics Affect the Robustness of Collaborative Recommendation Models.

• GCN-Based User Representation Learning for Unifying Robust Recommendation and Fraudster Identification.

• How Dataset Characteristics Affect the Robustness of Collaborative Recommendation Models.

• Certifiable Robustness to Discrete Adversarial Perturbations for Factorization Machines.

• DPLCF: Differentially Private Local Collaborative Filtering.

• Data Poisoning Attacks against Differentially Private Recommender Systems.

Group RS

• GAME: Learning Graphical and Attentive Multi-view Embeddings for Occasional Group Recommendation.

• GroupIM: A Mutual Information Maximizing Framework for Neural Group Recommendation.

• Group-Aware Long- and Short-Term Graph Representation Learning for Sequential Group Recommendation.

• Global Context Enhanced Graph Nerual Networks for Session-based Recommendation.

Conversational RS

• Deep Critiquing for VAE-based Recommender Systems.

• Interactive Recommender System via Knowledge Graph-enhanced Reinforcement Learning.

• Towards Question-based Recommender Systems.

• Neural Interactive Collaborative Filtering.

RL for RS

• Self-Supervised Reinforcement Learning for Recommender Systems.

• MaHRL: Multi-goals Abstraction based Deep Hierarchical Reinforcement Learning for Recommendations.

• Leveraging Demonstrations for Reinforcement Recommendation Reasoning over Knowledge Graphs.

Cross-domain RS 

• Transfer Learning via Contextual Invariants for One-to-Many Cross-Domain Recommendation.

• CATN: Cross-Domain Recommendation for Cold-Start Users via Aspect Transfer Network.

Explainable RS

• Measuring Recommendation Explanation Quality: The Conflicting Goals of Explanations.

• Try This Instead: Personalized and Interpretable Substitute Recommendation.

POI RS

• HME: A Hyperbolic Metric Embedding Approach for Next-POI Recommendation.

others

• Learning Personalized Risk Preferences for Recommendation.

• Octopus: Comprehensive and Elastic User Representation for the Generation of Recommendation Candidates.

• Spatial Object Recommendation with Hints: When Spatial Granularity Matters.

• Agreement and Disagreement between True and False-Positive Metrics in Recommender Systems Evaluation.

• Distributed Equivalent Substitution Training for Large-Scale Recommender Systems.

• The Impact of More Transparent Interfaces on Behavior in Personalized Recommendation.

• MVIN: Learning multiview items for recommendation.

• How to Retrain a Recommender System?

• Measuring and Mitigating Item Under-Recommendation Bias in Personalized Ranking Systems.

• BiANE: Bipartite Attributed Network Embedding.

• ASiNE: Adversarial Signed Network Embedding.

• Learning Dynamic Node Representations with Graph Neural Networks.

• Asymmetric Tri-training for Debiasing Missing-Not-At-Random Explicit Feedback.

 

推薦系統論文列表

這次整理的推薦系統論文列表分為了Research Track和Applied Data Science Track，即面向研究型的學術論文和麵向工業界的實踐論文。

Research Track Papers

研究賽道的論文主要是按照推薦子領域來劃分，比如序列化推薦、對話推薦系統、冷啟動問題、協同過濾、推薦效率問題等。從以下比例可以看出，序列化推薦和對話推薦系統是研究的熱點問題，這其實也很容易理解，推薦其實是個天然的序列問題，即建模使用者的一系列行為同時返回一系列個性化的物品序列；同時，推薦系統也自然的引入對話機制，因為傳統的推薦是靜態的，使用者只能被動的接受著推薦系統返回的結果列表，引入對話互動機制後，能很好的優化推薦系統。

Sequential RS

• Disentangled Self-Supervision in Sequential Recommenders

• Counterfactual Evaluation of Slate Recommendations with Sequential Reward Interactions

• Geography-Aware Sequential Location Recommendation

• Handling Information Loss of Graph Neural Networks for Session-based Recommendation

• On Sampling Top-K Recommendation Evaluation

• Probabilistic Metric Learning with Adaptive Margin for Top-K Recommendation

Conversational RS

• Evaluating Conversational Recommender Systems via User Simulation

• Improving Conversational Recommender Systems via Knowledge Graph based Semantic Fusion

• Interactive Path Reasoning on Graph for Conversational Recommendation

Cold-Start in RS

• MAMO: Memory-Augmented Meta-Optimization for Cold-start Recommendation

• Meta-learning on Heterogeneous Information Networks for Cold-start Recommendation

Collaborative Filtering

• Dual Channel Hypergraph Collaborative Filtering

• Semi-supervised Collaborative Filtering by Text-enhanced Domain Adaptation

Efficient RS

•  

• An Efficient Neighborhood-based Interaction Model for Recommendation on Heterogeneous Graph

• Compositional Embeddings Using Complementary Partitions for Memory-Efficient Recommendation Systems

• FedFast: Going Beyond Average for Faster Training of Federated Recommender Systems

Others

• A Framework for Recommending Accurate and Diverse Items Using Bayesian Graph Convolutional Neural Networks

• BLOB: A Probabilistic Model for Recommendation that Combines Organic and Bandit Signals

• Joint Policy-Value Learning for Recommendation

• On Sampled Metrics for Item Recommendation

Applied Data Science Track Papers

應用資料科學賽道主要是展示工業界中的實踐成果，我們按照公司維度整理出了涉及推薦場景的論文，其中包括谷歌、阿里、亞馬遜等公司，這些公司由於有著海量的使用者資料，因此推薦技術也相對成熟，許多經典模型也是由以下公司所提出的。

Google

• Attribute-based Propensity for Unbiased Learning in Recommender Systems: Algorithm and Case Studies

• Improving Recommendation Quality in Google Drive

• Neural Input Search for Large Scale Recommendation Models

Alibaba

• Controllable Multi-Interest Framework for Recommendation

• M2GRL: A Multi-task Multi-view Graph Representation Learning Framework for Web-scale Recommender Systems

• Maximizing Cumulative User Engagement in Sequential Recommendation: An Online Optimization Perspective

• Privileged Features Distillation at Taobao Recommendations -Alibaba

Amazon

• Temporal-Contextual Recommendation in Real-Time

Pinterest

•  

• PinnerSage: Multi-Modal User Embedding Framework for Recommendations at Pinterest -Pinterest

Bytedance

• Jointly Learning to Recommend and Advertise -Bytedance

DiDiChuxing

• Gemini: A novel and universal heterogeneous graph information fusing framework for online recommendations

Twitter

• SimClusters: Community-Based Representations for Heterogeneous Recommendations at Twitter

•  

前言

第58屆國際計算語言學協會年會（ACL，The Association for Computational Linguistics）將於2020年7月6號-8號線上舉行。官網公佈了ACL2020的論文收錄名單，共計收錄778篇論文，本次ACL大會共提交了3429篇論文，長文錄取率為25%。作為自然語言處理（NLP）領域的頂會，其中有一些涉及NLP技術的推薦系統論文也會投稿於此。

第37屆機器學習國際會議（ICML，International Conference on Machine Learning）將於2020年7月12日至18日線上舉行。官網公佈了ICML2020的論文收錄名單，共計收錄1088篇論文，本次ICML大會共提交了4990篇論文，錄取率為21.8%。

推薦相關論文列表

本次ACL2020大會共整理出5篇關於推薦系統的論文，其中涉及到2篇對話推薦系統和3篇新聞推薦系統。值得注意的是，3篇新聞推薦系統論文均來自於MSRA謝幸老師團隊，太強了(●'◡'●)。不難發現，由於ACL為自然語言處理相關的會議，所以推薦系統的比重較小，另外，接收的推薦系統論文中都涉及NLP相關的技術。

另外，本篇文章還整理出了ICML2020中關於推薦系統的論文4篇。其中涉及GCN、非負矩陣分解等技術。

由於在研究推薦系統的時候，也會用到圖神經網路以及知識圖譜相關的知識，因此後兩部分也整理了相關的論文。

 

 

推薦系統-ACL2020

• Dynamic Online Conversation Recommendation

https://www.aclweb.org/anthology/2020.acl-main.305.pdf

https://github.com/zxshamson/dy-conv-rec

• Towards Conversational Recommendation over Multi-Type Dialogs

https://www.aclweb.org/anthology/2020.acl-main.98.pdf

https://github.com/PaddlePaddle/models/

• Fine-grained Interest Matching for Neural News Recommendation

https://www.aclweb.org/anthology/2020.acl-main.77.pdf

• Graph Neural News Recommendation with Unsupervised Preference Disentanglement

https://www.aclweb.org/anthology/2020.acl-main.392.pdf

• MIND: A Large-scale Dataset for News Recommendation

https://www.aclweb.org/anthology/2020.acl-main.331.pdf

https://github.com/zxshamson/dy-conv-rec

推薦系統-ICML2020

 

本文介紹 ICML2020 中 4 篇與推薦系統相關的論文。分別為：

1. 低通協同過濾推薦的圖卷積網路

2. 推薦系統中 Pap@k 度量的優化與分析

3. 有序非負矩陣分解在推薦中的應用

4. 推薦系統中的長期社會福利優化：一種約束匹配方法

圖卷積網路（GCN）廣泛應用於推薦等圖資料學習任務中。然而，當面對較大的圖時，圖卷積計算量很大，因此現有的 GCN 中都進行了簡化，但由於過於簡化而受到嚴重影響。為了彌補這一差距，這篇文章利用 GCN 中原有的圖卷積，提出了一種低通協同過濾（LCF），使其適用於大型圖。LCF 的設計消除了觀測資料中曝光和量化帶來的噪聲，並無損地降低了圖形卷積的複雜度。實驗表明，LCF 提高了圖卷積的有效性和效率，並且提出的 GCN 的效能明顯優於現有的 GCN。您可以在 https：//github.com/wenhui-yu/lcfn 上檢視程式碼。

所有模型在兩個資料集上的效能（“Imp”表示相對提高，“BB”表示最佳基線）

2. Optimization and Analysis of the pAp@k Metric for Recommender Systems

https://proceedings.icml.cc/static/paper_files/icml/2020/1095-Paper.pdf

現代推薦和通知系統必須穩健地應對資料失衡、建議/通知數量限制以及使用者之間的異類接觸。Pap@k 度量結合了 partial-AUC 度量和 precision@k 度量，最近被提出用於評估上面所述的推薦系統，並已在實際部署中使用。從概念上講，Pap@k 衡量正確的將排名靠前的正例項排在排名靠前的負例項前面的概率。由於排名靠前的點所呈現的組合特徵，人們對 Pap@k 的特點和優化方法知之甚少，文章中分析了 Pap@k 的學習理論特性，特別是它在評價現代推薦系統中的優勢，並提出了在一定的資料規則條件下保持一致的新的替代物。然後，文章提供了基於梯度下降的演算法來直接優化替代物。文章的分析和實驗評估表明，Pap@k 確實在 partial-AUC 和 precision@k 上表現出了一定的雙重行為，而且在各種應用中，所提出的方法都優於所有的基線。綜上所述，文章的結果推動了 Pap@k 在具有不同使用者參與度的大規模推薦系統中的使用。

在Movielens, Citation 和 Behance 資料集上不同方法的 Micro-Pap@k 增益(以%為單位)。值越高越好。該方法的效能優於基線，尤其是GD-Pap@k-avg

3. Ordinal Non-negative Matrix Factorization for Recommendation

https://proceedings.icml.cc/static/paper_files/icml/2020/4539-Paper.pdf

這篇文章介紹了一種新的有序資料非負矩陣分解（NMF）方法，稱為 OrdNMF. 有序資料是類別之間表現出自然排序的分類資料。具體地說，它們可以在具有顯式資料（例如評級）或隱式資料（例如量化播放數量）的推薦系統中找到。OrdNMF 是一個概率潛在因子模型，它推廣了伯努利—泊松分解（BePoF）和泊松分解（PF）在二值化資料上的應用。與這些方法相反，OrdNMF 避開了二進位制化，可以利用更豐富的資料表示形式。文章設計了一種有效的變分演算法，該演算法基於合適的模型增廣，並與變分 PF 相關。特別地，提出的演算法保持了 PF 演算法的可擴充套件性，可以應用於海量稀疏資料集。在顯式和隱式資料集上的推薦實驗表明 OrdNMF 在二值化資料上的效能優於 BePoF 和 PF.

4. Optimizing Long-term Social Welfare in Recommender Systems: A Constrained Matching Approach

https://proceedings.icml.cc/static/paper_files/icml/2020/3138-Paper.pdf

大多數推薦系統（RS）研究假設使用者的效用可以獨立於其他代理（例如，其他使用者、內容提供商）的效用而最大化。在現實環境中，這通常不是真的—— RS 生態系統的動態性耦合了所有代理的長期效用。這項工作將探討內容提供商除非獲得一定級別的使用者參與，否則無法繼續生存的設定。文章將這一背景下的推薦問題描述為誘導動力系統中的均衡選擇問題，並證明了該問題可以作為一個最優約束匹配問題來求解。文中證明，即使在一個簡單的、風格化的動態 RS 模型中，標準的短視推薦方法——總是將使用者與最好的提供商相匹配——也表現不佳。文章中開發了幾種可擴充套件的技術來解決匹配問題，並將其與使用者遺憾和公平的各種概念聯絡起來，在實用意義上這些結果是更公平的。

當使用者/提供商嵌入是傾斜的時，由於不太受歡迎的提供商放棄平臺，短視的推薦產生次優的使用者福利

 

 

---

---

---

---

---

• Graph Convolutional Network for Recommendation with Low-pass Collaborative Filters

https://arxiv.org/abs/2006.15516.pdf

• Optimization and Analysis of the pAp@k Metric for Recommender Systems

• Optimizing Long-term Social Welfare in Recommender Systems: A Constrained Matching Approach

• Ordinal Non-negative Matrix Factorization for Recommendation

https://arxiv.org/pdf/2006.01034.pdf

網路表示學習&圖神經網路相關

• Learning to Ask More: Semi-Autoregressive Sequential Question Generation under Dual-Graph Interaction.

• Every Document Owns Its Structure: Inductive Text Classification via Graph Neural Networks.

• GCAN: Graph-aware Co-Attention Networks for Explainable Fake News Detection on Social Media.

• Integrating Semantic and Structural Information with Graph Convolutional Network for Controversy Detection.

• Line Graph Enhanced AMR-to-Text Generation with Mix-Order Graph Attention Networks.

• Query Graph Generation for Answering Multi-hop Complex Questions from Knowledge Bases.

• A Graph Auto-encoder Model of Derivational Morphology.

• AMR Parsing via Graph-Sequence Iterative Inference.

• Semantic Graphs for Generating Deep Questions.

• A Novel Graph-based Multi-modal Fusion Encoder for Neural Machine Translation.

• Relational Graph Attention Network for Aspect-based Sentiment Analysis.

• Syntax-Aware Opinion Role Labeling with Dependency Graph Convolutional Networks.

• Entity-Aware Dependency-Based Deep Graph Attention Network for Comparative Preference Classification.

• Heterogeneous Graph Neural Networks for Extractive Document Summarization.

• Dependency Graph Enhanced Dual-transformer Structure for Aspect-based Sentiment Classification.

• Document Modeling with Graph Attention Networks for Multi-grained Machine Reading Comprehension.

• Aligned Dual Channel Graph Convolutional Network for Visual Question Answering.

• Multimodal Neural Graph Memory Networks for Visual Question Answering.

• Fine-grained Fact Verification with Kernel Graph Attention Network

• Continuous Graph Neural Networks

知識圖譜

• Query Graph Generation for Answering Multi-hop Complex Questions from Knowledge Bases.

• Grounded Conversation Generation as Guided Traverses in Commonsense Knowledge Graphs.

• Can We Predict New Facts with Open Knowledge Graph Embeddings? A Benchmark for Open Link Prediction.

• The Dialogue Dodecathlon: Open-Domain Knowledge and Image Grounded Conversational Agents.

• Knowledge Graph Embedding Compression.

• Orthogonal Relation Transforms with Graph Context Modeling for Knowledge Graph Embedding.

• Breaking Through the 80% Glass Ceiling: Raising the State of the Art in Word Sense Disambiguation by Incorporating Knowledge Graph Information.

• SEEK: Segmented Embedding of Knowledge Graphs.

• SKEP: Sentiment Knowledge Enhanced Pre-training for Sentiment Analysis.

• Improving Multi-hop Question Answering over Knowledge Graphs using Knowledge Base Embeddings.

• Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven Cloze Reward.

• A Re-evaluation of Knowledge Graph Completion Methods.

• ReInceptionE: Relation-Aware Inception Network with Joint Local-Global Structural Information for Knowledge Graph Embedding.

• Connecting Embeddings for Knowledge Graph Entity Typing.

• Low-Dimensional Hyperbolic Knowledge Graph Embeddings.

 

CIKM2020 | 最新9篇推薦系統相關論文

第29屆國際計算機學會資訊與知識管理大會CIKM2020將於2020年10月19日-10月23日線上上召開。CIKM是CCF推薦的B類國際學術會議，是資訊檢索和資料探勘領域頂級學術會議之一。本屆CIKM會議共收到投稿920篇，其中錄用論文193篇，錄取率約為21%。此次整理的論文大部分來自人大、清華和華為。

 

題目：S3-Rec: Self-Supervised Learning for Sequential Recommendation with Mutual Information Maximization

作者：周昆，王輝，趙鑫，朱餘韜，王思睿，張富錚，王仲遠，文繼榮

概述：近年來，深度學習在序列化推薦領域取得了巨大成功，已有的序列化推薦模型通常依賴於商品預測的損失函式進行引數訓練。但是該損失函式會導致資料稀疏和過擬合問題，其忽視了上下文資料與序列資料之間的關聯，使得資料的表示學習的並不充分。為解決該問題，本文提出了S3-Rec這一模型，該模型基於自注意力模型框架，利用四個額外的自監督訓練函式來學習屬性、商品、序列之間的特殊關係。在這裡，本文采用了互資訊最大化技術來構造這些自監督函式，以此來統一這些關係。在六個資料集上的充分實驗表明本文提出的模型能夠取得State-of-the-art的效果，其在資料量受限和其他推薦模型上也能帶來較大的提升。關於自監督學習可參考Self-Supervised Learning論文整理。

 

 

2

 

題目：Diversifying Search Results using Self-Attention Network

作者：秦緒博，竇志成，文繼榮

概述：搜尋結果多樣化的目標是使得檢索得到的結果能夠儘量覆蓋使用者提出問題的所有子話題。已有的多樣化排序方法通常基於貪心選擇(Greedy Selection)過程，獨立地將每一個候選文件與已選中的文件序列進行比較，選擇每一個排序位置的最佳文件，生成最後的文件排序。而相關研究證明由於各候選文件的邊際資訊收益並非彼此獨立，貪心選擇得到的各個區域性最優解將難以導向全域性最佳排序。本文介紹了一種基於自注意力網路(Self-Attention Network)的方法，可以同步地衡量全體候選文件間的關係，以及候選文件對不同使用者意圖的覆蓋程度，有效地克服原有方法受限於貪心選擇過程的侷限性，並在TRECWebTrack09-12資料集上獲得更好的效能。

 

 

3

 

題目：PSTIE: Time Information Enhanced Personalized Search

作者：馬正一，竇志成，邊關月，文繼榮

概述：基於深度學習的個性化搜尋模型通過序列神經網路（例如RNN）對使用者搜尋歷史進行序列建模，歸納出使用者的興趣表示，取得了當前最佳的效果。但是，這一類模型忽略了使用者搜尋行為之間細粒度的時間資訊，而只關注了搜尋行為之間的相對順序。實際上，使用者每次查詢之間的時間間隔可以幫助模型更加準確地對使用者查詢意圖與文件興趣的演化進行建模。同時，使用者歷史查詢與當前查詢之間的時間間隔可以直接幫助模型計算使用者的重查詢（re-finding）行為概率。基於此，本文提出了一個時間資訊增強的個性化搜尋模型。我們設計了兩種時間感知的LSTM結構在連續時間空間中對使用者興趣進行建模，同時直接將時間資訊利用在計算使用者重查詢概率中，計算出了更加準確的使用者長短期興趣表示。我們提出了兩種將使用者興趣表示用於個性化排序的策略，並在兩個真實資料集上取得了更好的效果。

 

 

4

 

論文：Learning Better Representations for Neural Information Retrieval with Graph Information

作者：李祥聖，Maarten de Rijke, 劉奕群，毛佳昕，馬為之，張敏，馬少平

概述：目前的檢索模型多數基於文字間的匹配。然而，對於一個搜尋會話，使用者的行為之間是具有聯絡的，這樣的聯絡可以用圖的方式表示出來。例如使用者在會話搜尋中修改查詢的過程可以知道那些查詢之間是相似的，使用者點選文件後，可以知道查詢與文件之間的關聯性。利用這樣的兩個網路，我們可以構建一個由使用者行為組成的圖網路。在傳統的文字匹配模式上，進一步地引入行為圖資訊幫助檢索模型更好地理解使用者搜尋意圖。檢索模型可以利用圖資訊，對輸入的查詢進行相似節點查詢。同理，對於候選文件也可以利用相似節點查詢。通過引入鄰接節點資訊，豐富當前節點的語義表示。

現有的圖模型的工作主要分為兩種：網路嵌入式表示方法與圖神經網路方法。基於這兩種方法，我們提出了兩種利用圖資訊改進檢索模型的方法，兩種方法的示意圖如下所示：

 

 

5

 

題目: GraphSAIL: Graph Structure Aware Incremental Learning for Recommender Systems

概述：推薦系統可以幫助使用者很方便的從線上服務中獲取想要的資訊，在提升使用者體驗方面起著越來越重要的作用，也累計了越來越多的使用者資料。隨著圖神經網路（GNNs）的出現，基於使用者-物品二部圖來學習使用者、物品表達展現出了巨大的優勢。但是，GNN模型的訓練複雜度很高，難以頻繁地更新以提供最新的使用者、物品個性化表達。在本研究中，我們提出通過增量的方式更新基於GNN的推薦模型，以大大縮短訓練時間，從而可以更頻繁地更新模型。我們設計了一種圖結構感知增量學習框架GraphSAIL，以克服在增量方式訓練模型時常常出現的災難性遺忘問題。GraphSAIL實現了一種可以儲存每個節點的區域性結構、全域性結構和自資訊的圖結構資訊儲存策略，從而在增量更新期間可以更好的保留使用者的長期偏好（以及物品的長期屬性）。GraphSAIL是首個對基於GNN的推薦模型進行增量更新的框架，在兩個公共資料集上與其它增量學習技術的對比展示出了GraphSAIL的優越性。我們進一步在大規模工業資料集上驗證了我們的框架的有效性。

圖1：GraphSAIL全域性結構蒸餾示例

 

 

6

 

題目：Personalized Re-ranking with Item Relationships for E-commerce

概述：在大規模商用推薦系統中，重排序(re-ranking)是一項非常關鍵的任務。重排序模型在已有初始排序的基礎上，進行更精細的排序建模，以提高最終推薦結果的準確性。但是，現有的推薦重排序模型大多忽略了以下兩個問題：（1）忽略了列表中商品與商品之間的相互關係和影響，例如擁有可替代(substitutable)或者互補(complementary)關係的商品出現在同一列表中，會影響到使用者對於另一商品的滿意度；（2）對所有使用者使用單一的重排序策略，而忽略了使用者個性化的偏好和意圖。為了解決這些問題，我們構造了一個異構圖來融合初始排序資訊和商品關係資訊。我們設計了一個基於圖神經網路的框架IRGPR，通過遞迴的方式逐步聚合來自多跳鄰域的依賴關係和結構資訊。同時，我們還提出了一個新穎的意圖嵌入網路，對個性化的使用者意圖進行顯式建模。大量在真實資料集上的實驗證實了IRGPR在重排序任務上的有效性。進一步分析表明，對商品關係和個性化意圖建模有助於提升重排序的推薦效果。【諾亞推薦與搜尋團隊自研成果】

圖2：IRGPR模型結構

 

 

7

 

題目：TGCN: Tag Graph Convolutional Network for Tag-Aware Recommendation

概述：標籤感知推薦系統 (Tag-aware recommender systems)利用了使用者對物品的標註標籤作為一種輔助資訊來提升推薦效能，傳統的基於深度學習的標籤感知推薦模型單純依靠基於標籤的特徵來表徵使用者和物品，這種方式難以有效解決標籤空間的稀疏性、模糊性和冗餘性等弊端。為了解決這個問題，我們將使用者的標註記錄以無向帶權異構圖的形式進行組織，通過鄰居來提供額外的內容資訊。在本工作中，我們提出了一個基於圖神經網路的模型TGCN。TGCN針對不同型別的鄰居節點採用不同的取樣和聚合操作，並利用注意力網路來識別鄰居和節點型別的重要性。此外，利用卷積神經網路作為型別聚合方式從而建模多粒度的特徵互動。我們在公開資料集和產品資料集進行驗證，TGCN模型在各個評價指標上均優於現有的標籤感知推薦模型。【諾亞推薦與搜尋團隊自研成果】

圖3：TGCN模型結構

 

8

 

題目：U-rank: Utility-oriented Learning to Rank with Implicit Feedback

概述：使用隱式反饋進行排序學習是許多現有資訊系統、推薦系統最重要的任務之一。資訊系統、推薦系統一般都有特定的優化目標，例如，增加點選量和提高收入。我們泛稱該優化目標為收益。很多時候，我們希望有一個演算法能夠直接最優化收益。然而，現有的排序演算法原則並不能夠最大化收益。為此，我們提出了一種新型排序框架，U-rank，將期望收益最大化的問題建模為物品和位置的二分圖最大權重匹配問題。該框架考慮位置偏置對收益的影響，通過藉助位置感知的深度點選率預測模型，計算二分圖的權重為在特定query下該物品被放到某個位置的收益。我們借鑑了有效的Lambdaloss框架來最大化該二分圖匹配問題，這個框架得到了理論和經驗分析的支援。我們在三個benchmark資料集和二個的私有資料集上進行了大量的實驗，充分展示了U-rank在優化收益的目標上表現優於許多state-of-the-arts演算法。此外，U-rank已經部署到一個商業推薦系統，線上A/B測試中觀察到U-rank相對生產基線大幅提升了點選率和轉化率。【諾亞推薦與搜尋團隊，上海交大Apex實驗室俞勇/張偉楠老師團隊聯合研究成果】

圖4：將排序問題建模成二分圖最大權重匹配問題

 

9

 

題目：AutoFeature: Searching for Feature Interactions and Their Architectures for Click-through Rate Prediction

概述：點選率預測問題是商業推薦系統中一個重要研究課題。而在這個課題中中，如何有效建模特徵互動是一個核心研究點。但是，現有的方案要麼對於某一階互動建模了所有可能的特徵互動，要麼需要人工去選擇特徵互動。這些模型使用了相同的網路結構或者函式去建模所有的特徵互動，從而忽略了不同特徵互動之間複雜度的不同。為了解決這些問題，我們提出了一個基於神經網路架構搜尋的模型AutoFeature，去自動化的找到潛在有用的特徵互動，並且選擇合適的神經網路結構去建模不同的特徵互動。首先，我們設計了一個靈活的搜尋空間，使得覆蓋了很多流量的深度推薦模型如PIN，PNN，DeepFM等，並且能夠建模高階特徵互動。其次，我們提出了一個高效的神經網路架構檢索演算法，能夠迭代迴圈的將搜尋空間劃分成多個子空間，並且從中取樣出高質量的神經網路結構。我們在公開資料集上進行了充分的實驗，驗證了AutoFeature的精度和效率。【諾亞推薦與搜尋團隊，AI基礎理論團隊聯合研究成果】

圖5：AutoFeature的神經網路架構搜尋流程圖

 

 

 

KDD 2020 推薦系統論文一覽

KDD是推薦領域一個頂級的國際會議。本次接收的論文按照推薦系統應用場景可以大致劃分為：CTR預估、TopN推薦、對話式推薦、序列推薦等。同時，GNN、強化學習、多工學習、遷移學習、AutoML、元學習在推薦系統的落地應用也成為當下的主要研究點。此屆會議有很大一部分來自工業界的論文，包括Google、Microsoft、Criteo、Spotify以及國內大廠阿里、百度、位元組、華為、滴滴等。

CTR Prediction

 

1. AutoFIS: Automatic Feature Interaction Selection in Factorization Models for Click-Through Rate Prediction 【華為諾亞】

簡介：本文采用AutoML的搜尋方法選擇重要性高的二次特徵互動項、去除干擾項，提升FM、DeepFM這類模型的準確率。
論文：https://arxiv.org/abs/2003.11235

2. Category-Specific CNN for Visual-aware CTR Prediction at JD.com 【京東】

論文：https://arxiv.org/abs/2006.10337

3. Towards Automated Neural Interaction Discovering for Click-Through Rate Prediction 【Facebook】

論文：https://arxiv.org/abs/2007.06434

 

Graph-based Recommendation

 

1. A Framework for Recommending Accurate and Diverse Items Using Bayesian Graph Convolutional Neural Networks 【華為諾亞】

 

2. An Efficient Neighborhood-based Interaction Model for Recommendation on Heterogeneous Graph 【Amazon】

論文：https://arxiv.org/abs/2007.00216

3. M2GRL: A Multi-task Multi-view Graph Representation Learning Framework for Web-scale Recommender Systems 【阿里】

簡介：本文通過關聯多個視角的圖(item-item圖、item-shop圖、shop-shop圖等)增強item表徵，用於item召回。
論文：https://arxiv.org/abs/2005.10110

4. Handling Information Loss of Graph Neural Networks for Session-based Recommendation

 

5. Interactive Path Reasoning on Graph for Conversational Recommendation

論文：https://arxiv.org/abs/2007.00194

6. A Dual Heterogeneous Graph Attention Network to Improve Long-Tail Performance for Shop Search in E-Commerce 【阿里】

 

7. Gemini: A Novel and Universal Heterogeneous Graph Information Fusing Framework for Online Recommendations 【滴滴】

 

Conversational Recommendation

 

1. Evaluating Conversational Recommender Systems via User Simulation

論文：https://arxiv.org/abs/2006.08732

2. Improving Conversational Recommender Systems via Knowledge Graph based Semantic Fusion

論文：https://arxiv.org/abs/2007.04032

3. Interactive Path Reasoning on Graph for Conversational Recommendation

論文：https://arxiv.org/abs/2007.00194

 

CF and Top-N Recommendation

 

1. Dual Channel Hypergraph Collaborative Filtering 【百度】

筆記：https://blog.csdn.net/weixin_42052231/article/details/107710301

2. Probabilistic Metric Learning with Adaptive Margin for Top-K Recommendation 【華為諾亞】

3. Controllable Multi-Interest Framework for Recommendation 【阿里】

論文：https://arxiv.org/abs/2005.09347

4. Embedding-based Retrieval in Facebook Search 【Facebook】

論文：https://arxiv.org/abs/2006.11632

5. On Sampling Top-K Recommendation Evaluation

 

Embedding and Representation

 

1. Compositional Embeddings Using Complementary Partitions for Memory-Efficient Recommendation Systems 【Facebook】

論文：https://arxiv.org/abs/1909.02107

2. PinnerSage: Multi-Modal User Embedding Framework for Recommendations at Pinterest 【Pinterest】

論文：https://arxiv.org/abs/2007.03634

3. SimClusters: Community-Based Representations for Heterogeneous Recommendations at Twitter 【Twitter】

4. Time-Aware User Embeddings as a Service 【Yahoo】

論文：https://astro.temple.edu/~tuf28053/papers/pavlovskiKDD20.pdf

 

Sequential Recommendation

 

1. Disentangled Self-Supervision in Sequential Recommenders 【阿里】

論文：http://pengcui.thumedialab.com/papers/DisentangledSequentialRecommendation.pdf

2. Handling Information Loss of Graph Neural Networks for Session-based Recommendation

 

3. Maximizing Cumulative User Engagement in Sequential Recommendation: An Online Optimization Perspective 【阿里】

論文：https://arxiv.org/pdf/2006.04520.pdf

 

RL for Recommendation

 

1. Jointly Learning to Recommend and Advertise 【位元組跳動】

論文：https://arxiv.org/abs/2003.00097

2. BLOB: A Probabilistic Model for Recommendation that Combines Organic and Bandit Signals 【Criteo】

3. Joint Policy-Value Learning for Recommendation 【Criteo】

論文：https://www.researchgate.net/publication/342437800_Joint_Policy-Value_Learning_for_Recommendation

Multi-Task Learning

 

1. Privileged Features Distillation at Taobao Recommendations 【阿里】

論文：https://arxiv.org/abs/1907.05171

 

Transfer Learning

 

1. Learning Transferrable Parameters for Long-tailed Sequential User Behavior Modeling 【Salesforce】

 

2. Semi-supervised Collaborative Filtering by Text-enhanced Domain Adaptation 【阿里】

論文：https://arxiv.org/abs/2007.07085

 

AutoML for Recommendation

 

1. Neural Input Search for Large Scale Recommendation Models 【Google】

論文：https://arxiv.org/abs/1907.04471

2. Towards Automated Neural Interaction Discovering for Click-Through Rate Prediction 【Facebook】

論文：https://arxiv.org/abs/2007.06434

 

Federated Learning

 

1. FedFast: Going Beyond Average for Faster Training of Federated Recommender Systems

 

Evaluation

 

1. Counterfactual Evaluation of Slate Recommendations with Sequential Reward Interactions 【Netflix, Spotify】

論文：https://arxiv.org/abs/2007.12986

2. Evaluating Conversational Recommender Systems via User Simulation

論文：https://arxiv.org/abs/2006.08732

3. On Sampled Metrics for Item Recommendation 【Google】

 

4. On Sampling Top-K Recommendation Evaluation

 

Debiasing

 

1. Debiasing Grid-based Product Search in E-commerce 【Etsy】

論文：http://www.public.asu.edu/~rguo12/kdd20.pdf

2. Counterfactual Evaluation of Slate Recommendations with Sequential Reward Interactions 【Netflix, Spotify】

論文：https://arxiv.org/abs/2007.12986

3. Attribute-based Propensity for Unbiased Learning in Recommender Systems: Algorithm and Case Studies 【Google】

論文：https://research.google/pubs/pub49273/

POI Recommendation

 

1. Geography-Aware Sequential Location Recommendation 【Microsoft】

論文：http://staff.ustc.edu.cn/~liandefu/paper/locpred.pdf

 

Cold-Start Recommendation

 

1. MAMO: Memory-Augmented Meta-Optimization for Cold-start Recommendation

論文：https://arxiv.org/abs/2007.03183

2. Meta-learning on Heterogeneous Information Networks for Cold-start Recommendation

論文：https://ink.library.smu.edu.sg/cgi/viewcontent.cgi?article=6158&context=sis_research

 

Others

 

1. Improving Recommendation Quality in Google Drive 【Google】

論文：https://research.google/pubs/pub49272/

2. Temporal-Contextual Recommendation in Real-Time 【Amazon】

論文：https://assets.amazon.science/96/71/d1f25754497681133c7aa2b7eb05/temporal-contextual-recommendation-in-real-time.pdf

 

 

RecSys2020推薦系統論文集錦

第14屆推薦人自己的年會RecSys已在9月22日到26日線上上舉行。大會圍繞著推薦系統相關問題進行了3場KeyNotes，5場Tutorials，接收了41篇長文，26篇短文。

通過對主題演講以及教程的總結發現，此次大會主要聚焦在了推薦系統中的Bias問題以及對話推薦系統、對抗機器學習在推薦中的應用等。

主題演講為以下3個：

• 4 Reasons Why Social Media Make Us Vulnerable to Manipulation.

  by Filippo Menczer.

• Bias in Search and Recommender Systems.

  by Ricardo Baeza-Yates.

• "You Really Get Me": Conversational AI Agents That Can Truly Understand and Help Users. 

  by Michelle Zhou.

大會教程為以下6個：

• Adversarial Learning for Recommendation: Applications for Security and Generative Tasks - Concept to Code.

  by Vito Walter Anelli et al.

• Bayesian Value Based Recommendation: A modelling based alternative to proxy and counterfactual policy based recommendation.

  by David Rohde et al.

• Counteracting Bias and Increasing Fairness in Search and Recommender Systems. 

  by Ruoyuan Gao et al.

• Introduction to Bandits in Recommender Systems.

  by Andrea Barraza-Urbina et al.

• Tutorial on Conversational Recommendation Systems.

  by Zuohui Fu et al.

• Tutorial: Feature Engineering for Recommender Systems.

  by Benedikt Schifferer et al.

另外，大會揭曉了今年的最佳論文獎、最佳論文提名獎、最佳短文獎。具體標題及單位如下：

• Progressive Layered Extraction (PLE): A Novel Multi-Task Learning (MTL) Model for Personalized Recommendations
  by H. Tang, J. Liu, M. Zhao, X. Gong (Best Long Paper)

• Exploiting Performance Estimates for Augmenting Recommendation Ensembles
  by G. Penha, R. L. T. Santos (Best Long Paper Runner-up)

• ADER: Adaptively Distilled Exemplar Replay Towards Continual Learning for Session-based Recommendation
  by F. Mi, X. Lin, B. Faltings (Best Short Paper)

最後，小編為大家收集整理了部分相關主題的論文。其中對論文的總結發現，除了以下列出的大類外，還有一些非常有意思的工作，比如對可復現性和公平對比的思考、多智慧體強化學習與推薦系統的結合、對矩陣分解和神經協同過濾方法的思考等等。

一. 序列推薦

• From the lab to production: A case study of session-based recommendations in the home-improvement domain.

• ADER: Adaptively Distilled Exemplar Replay Towards Continual Learning for Session-based Recommendation.

• Exploring Longitudinal Effects of Session-based Recommendations.

• Long-tail Session-based Recommendation.

• Context-aware Graph Embedding for Session-based News Recommendation.

• Investigating the Impact of Audio States & Transitions for Track Sequencing in Music Streaming Sessions.

二. 可解釋性推薦

• Explainable Recommendation for Repeat Consumption.

• Explainable Recommendations via Attentive Multi-Persona Collaborative Filtering.

• Providing Explainable Race-Time Predictions and Training Plan Recommendations to Marathon Runners.

三. 無偏的和公平的推薦

• Bias in Search and Recommender Systems

• Debiasing Item-to-Item Recommendations With Small Annotated Datasets.

• Keeping Dataset Biases out of the Simulation: A Debiased Simulator for Reinforcement Learning based Recommender Systems.

• Unbiased Ad Click Prediction for Position-aware Advertising Systems.

• Unbiased Learning for the Causal Effect of Recommendation.

• Unbiased Implicit Recommendation and Propensity Estimation via Combinational Joint Learning.

• The Connection Between Popularity Bias, Calibration, and Fairness in Recommendation.

• Counteracting Bias and Increasing Fairness in Search and Recommender Systems.

• Counteracting Bias and Increasing Fairness in Search and Recommender Systems.

• The Connection Between Popularity Bias, Calibration, and Fairness in Recommendation.

• Fairness-aware Recommendation with librec-auto.

• Ensuring Fairness in Group Recommendations by Rank-Sensitive Balancing of Relevance.