[1] Deep Interest Network for Click-Through Rate Prediction
Guorui Zhou, Chengru Song, Xiaoqiang Zhu Ying Fan, Han Zhu, Xiao Ma, Yanghui Yan, Junqi Jin, Han Li, Kun Gai
Alibaba Group
KDD 2018
https://arxiv.org/pdf/1706.06978.pdf
點選率預估在工業應用中， 例如線上廣告，是一項基本任務。最近，研究人員提出了基於深度學習的模型，這些模型遵循了嵌入+MLP正規化。在這些方法中，大規模稀疏輸入特徵首先對映到低維嵌入向量，然後以分組方式轉換為固定長度的向量，最後將這些特徵串聯在一起，傳入多層感知器 (MLP) 中，進而學習特徵之間的非線性關係。
如此一來，無論候選廣告是什麼，使用者特徵都被壓縮成固定長度的表示向量。在這裡，使用固定長度的向量是一個瓶頸，這給嵌入&MLP方法從豐富的歷史行為中有效地捕捉使用者的多種興趣帶來了困難。本文提出了一種新的模型：深度興趣網路(DIN)，通過一個區域性啟用單元來適應從某一廣告的歷史行為中瞭解使用者興趣的表達，進而解決了上述難題。
該表示向量因廣告不同而不同，這就大大提高了模型的表達能力。此外，作者們還提出了兩種技術：微型批量感知正則化和資料自適應啟用函式，這兩種技巧有助於訓練具有數億個引數的工業界深度網路。
在兩個公共資料集以及包含超過 20 億個樣本的阿里巴巴真實生產資料集上的實驗表明了本文所提方法的有效性，與最先進的方法相比，該方法的效能更優。DIN現已成功部署在阿里巴巴的線上展示廣告系統中，用於服務主要流量。
本文主要貢獻如下
阿里的廣告展示系統圖示如下
幾類特徵情況統計如下
網路結構圖示如下
控制函式圖示如下
PReLU函式定義如下
Dice定義如下
資料集資訊統計如下
不同正則化方法的效果對比如下
幾種方法的效果對比如下
不同正則方法的auc對比如下
幾種方法的效果對比如下
程式碼地址
https://github.com/zhougr1993/DeepInterestNetwork
[2] Deep Interest Evolution Network for Click-Through Rate Prediction
Guorui Zhou, Na Mou, Ying Fan, Qi Pi, Weijie Bian, Chang Zhou, Xiaoqiang Zhu, Kun Gai
Alibaba Inc
AAAI 2019
https://arxiv.org/pdf/1809.03672.pdf
點選率 (CTR) 預估的目標是估計使用者點選商品的概率，這是廣告系統中的核心任務之一。在CTR預估模型中，需要捕獲使用者行為資料背後的潛在使用者興趣。另外，考慮到外部環境的變化以及內部認知，使用者興趣隨時間的變化而變化。
至今已有多種CTR預測方法用於興趣建模，然而大多數方法將行為表示直接視為興趣，這就無法對具體行為背後的潛在興趣進行建模。此外，這些方法很少考慮興趣的變化趨勢。
本文提出了一種用於CTR預估的新模型，深層興趣演化網路，DIEN。具體來說，作者們提出了興趣提取層，用於從歷史行為序列中捕獲隨時間變化的興趣。在此層中，通過引入輔助損失函式用於監督每步提取的興趣。
由於使用者興趣多種多樣，特別是在電子商務系統中，作者們利用興趣演化層來捕捉相對於目標專案的興趣演變過程。在興趣演化層中，將注意力機制嵌入序列結構中，如此一來在興趣演化過程中強化了相對興趣的影響。
在公共資料集和工業資料集的實驗中，DIEN 的效果顯著優於最先進的解決方案。值得注意的是，DIEN已部署在淘寶的廣告展示系統中，CTR提高了20.7%。
本文主要貢獻如下
本文網路結構圖示如下
資料集資訊統計如下
幾種模型在兩個公開資料集上的auc對比如下
幾種模型在工業資料集上的auc對比如下
AUGRU及輔助損失的效果如下
其中AUGRU為GRU with attentional update gate
不同損失函式的學習曲線對比如下
不同模型的AB測試結果如下
程式碼地址
https://github.com/mouna99/dien
[3] Deep Session Interest Network for Click-Through Rate Prediction
Yufei Feng, Fuyu Lv, Weichen Shen, Menghan Wang, Fei Sun, Yu Zhu, Keping Yang
Alibaba Group, Zhejiang University
IJCAI 2019
https://arxiv.org/pdf/1905.06482.pdf
點選率 (CTR) 預估在許多工業應用中扮演著重要的角色，其中包含線上廣告和推薦系統等。
如何從使用者行為序列中獲取使用者的動態和不斷變化的興趣，在CTR預估中是一個持續的研究課題。然而，目前大多數研究人員都忽視了序列的內在結構，即序列是由會話組成的，而會話由發生時間分隔的使用者行為構成。
作者們觀察到，使用者行為在每個會話中都是高度同質的，並且不同的會話中使用者行為是異構的。基於此，作者們提出一種新CTR 模型，深度會話興趣網路 (DSIN)，該模型利用使用者的行為序列中的多個歷史會話。
該模型首先使用帶有偏置編碼的自我注意機制來提取使用者在每個會話中的興趣。然後，利用Bi-LSTM 對使用者的興趣如何演變和會話之間的互動進行建模。最後，利用區域性啟用單元自適應地學習各種會話興趣對目標項的影響。
在廣告和生產推薦資料集上的實驗表明，DSIN 優於其他最先進的模型。
幾個會話的示例如下
本文的主要貢獻如下
本文網路結構如下
幾種方法在廣告和推薦資料集上的AUC對比如下
自注意力機制圖示如下
程式碼地址
https://github.com/shenweichen/DSIN