做為最後一篇論文閱讀記錄，我決定對我目前為止粗讀和精讀的論文進行一次總結，然後陳述一些個人對該研究領域的見解和想法。
論文總結歸納
推薦系統中的偏差和不公平現象是隨著推薦演算法的誕生就與生俱來的，而不是人為故意產生的。目前我讀過的論文中包括的一些典型的偏差和其主要的解決方案如下：
(1) 人口平等(Demographic parity)
描述 使用者不應因為自身的性別、年齡、種族等特徵而接收到不同的推薦結果。追求這種公平性顯然會影響推薦系統的準確度，但在諸如工作資訊推薦之類的場景中有一定必要。
解決方案 使用對抗學習去除使用者embeddings向量中的敏感資訊[1] 。或者更近一步，通過正交性正則化使有偏差使用者向量儘量正交於無偏差使用者向量，從而使兩者區分開來 [2]。
(2) 位置偏差(Position bias)
描述 即馬太效應。ranking中的每個物件受到的關注會受到展現位置的影響，位置靠前的物品比位置靠後的物品更容易被使用者注意到，也更容易獲得點選，從而使模型對使用者偏好的感知出現偏差，預估CTR不準，並進一步通過反饋迴圈(feedback loop)放大。
解決方案 可以將其轉換為一個以排序質量做為約束條件的整數線性規劃(ILP)問題求解 [3]。
(3) 選擇偏差(Selection bias)
描述 選擇偏差主要來自使用者的顯式反饋，如對物品的評分。由於使用者傾向於對自己感興趣的物品打分，很少對自己很少對自己不感興趣的物品打分，造成了資料非隨機缺失(Missing Not At Random, MNAR)問題，觀察到的評分並不是所有評分的代表性樣本，於是產生了選擇偏差。
解決方案 可以採用因果推斷的角度，利用逆傾向分數(Inverse Propensity Score, IPS)對觀察資料進行加權，構建一個對理想評測指標的無偏估計器(傾向分數可以看作是每個資料被觀察到的概率)[3]。
(4) 曝光偏差(Exposure bias)
描述 曝光偏差主要來自使用者的隱式反饋，如點選。使用者只能看到一部分系統曝光的物品，並作出點選等反應。但是資料中不包含的互動並不一定代表使用者不喜歡，還有可能是使用者不知道該物品。
解決方案 同樣可以採用因果推斷的角度，給使用者曝光商品可以看做給病人施加藥物，只知道少數病人(使用者)對少數治療方式(物品)的反應。我們同樣可以基於傾向分數方法，構建無偏估計器[4]。
(5) 流行度偏差(Popularity bias)
描述 被推薦物品的全域性熱度會影響其排序，導致推薦系統可能向使用者推薦最熱門而非最相關的物品。這樣對不流行物品的不公平，不流行物品可以類比為新開的店鋪，所賣物品也許質量很好，卻遲遲得不到推薦系統的推薦，讓店家不得不選擇別的平臺。
解決方案 可以採用基於正則化的內處理(In-processing)方法，採用使用者-物品對的預測分數和物品對應的流行度之間的皮爾遜相關係數作為正則項，通過最小化正則項和推薦誤差來消除偏差。[5]也可以採取因果推斷的角度，分析得出物品流行度是曝光物品和互動之間的一個混淆因子(Confounder)，因此要消除流行度對物品曝光度的影響，但是須保留流行度對互動(捕獲使用者的從眾心理)的影響，即利用流行度偏差[6]。
個人看法
在推薦系統中，由於使用者行為資料是觀察所得(Observational)而不是實驗所得(Experimental)[3]，因此會存在各種偏差，如使用者對物品的選擇偏差、系統對物品的曝光偏差等，直接拿模型擬合資料而忽視偏差會導致效能欠佳，在一定程度上也損害了使用者對推薦系統的體驗和信任，因此，去除推薦系統偏差已經成為推薦系統領域研究的一個新方向。
然而， 目前學術界採用的去除偏差的方法中，大多數還是在原有機器學習演算法上進行一定修改，通過修改目標函式、新增優化演算法約束、新增正則項等手段來達到去除偏差的目的。根據圖靈獎得主Judea Pearl的看法，單純依靠傳統的基於資料擬合的機器學習方式，而忽略資料的生成過程，就很難把握資料中蘊含的內在邏輯，常常產生諸如“辛普森悖論”這樣的統計學上的經典問題[7]。目前大多數推薦系統去偏方法都是基於黑盒模型來去偏，或者以最優化演算法約束條件的形式對模型引數進行限制，難以挖掘資料的生成過程，從而從根本上去除偏差。
而隨著近些年因果推斷(Causal Inference)的興起，傾向分數(Propensity Score)、反事實(Counterfactual)思想以及去除混淆因子(Confounder)等手段在此領域也得到越來越多的重視，為推薦系統去偏提供了一些思路。目前該領域的研究思路可以歸納為：基於理想的目標函式和相關假設提出無偏的估計，並且採用相關技術在理想目標和無偏估計之間建立聯絡以實現去偏的目的，同時在全模擬資料集、半合成資料集和真實資料集上進行實驗進一步驗證方法的有效性。因果推斷技術在推薦系統去偏上得到了廣泛應用，也標誌著推薦系統可解釋性得到重視，這標誌著著人們在設計模型時，從只考慮提高推薦效果的“黑盒”，到逐漸重視資料的解釋和模型內在機理的體現，而這往往需要結合具體的應用場景進行分析和推理。
儘管推薦系統去偏已經取得很大進步，但是有些問題值得進一步研究：提出合適的基準資料集和標準的評價指標來更好地評估推薦系統的無偏性；真實世界中偏差通常是動態的而不是靜態的，探究偏差的演變和動態偏差對推薦系統的影響具有一定的研究價值；設計更好地策略(如採用因果推斷)來平衡許多推薦場景下的公平性和推薦準確性也是值得研究的方向。其中，因果推斷在整個人工智慧領域的重要性逐漸得到重視，而其揭示資料生成過程、規避資料相關性陷阱的特性與推薦系統的去偏恰恰一拍即合。個人認為，基於因果推斷的推薦系統去偏是一個大有可為的方向，而目前因果推斷在該領域的研究才剛剛起步，有很大的探索空間。個人打算之後繼續在這個方向深入研究，並做為畢業設計的選題。
參考文獻
- [1] Wu L, Chen L, Shao P, et al. Learning Fair Representations for Recommendation: A Graph-based Perspective[C]//Proceedings of the Web Conference 2021. 2021: 2198-2208.
- [2] Wu C, Wu F, Wang X, et al. Fairness-aware News Recommendation with Decomposed Adversarial Learning[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2021, 35(5): 4462-4469.
- [3] Schnabel T, Swaminathan A, Singh A, et al. Recommendations as treatments: Debiasing learning and evaluation[C]//international conference on machine learning. PMLR, 2016: 1670-1679.
- [4] Saito Y, Yaginuma S, Nishino Y, et al. Unbiased recommender learning from missing-not-at-random implicit feedback[C]//Proceedings of the 13th International Conference on Web Search and Data Mining. 2020: 501-509.
- [5] Zhu Z, He Y, Zhao X, et al. Popularity-Opportunity Bias in Collaborative Filtering[C]//Proceedings of the 14th ACM International Conference on Web Search and Data Mining. 2021: 85-93.
- [6] Zhang Y, Feng F, He X, et al. Causal Intervention for Leveraging Popularity Bias in Recommendation[J]. arXiv preprint arXiv:2105.06067, 2021.
- [7] Pearl J. Causality[M]. Cambridge university press, 2009.