Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations

馒头and花卷發表於2024-05-26

目錄
  • 概
  • GRs (Generative Recommenders)
    • 任務形式
    • 模型設計
  • 程式碼

Zhai J., Liao L., Liu X., Wang Y., Li R., Cao X., Gao L., Gong Z., Gu F., He M., Lu Y. and Shi Y. Actions speak louder than words: Trillion-parameter sequential transducers for generative recommendations

概

本文介紹了一種推薦大模型的框架的訓練方法.

GRs (Generative Recommenders)

任務形式

  • 如上圖所示, DRs 這裡把 E/F, G, H 分別進行 merge and sequentialize, 這裡 (E, F) 表示哪些使用者的互動行為, merge 後得到的是 \((\Phi, a, t)\): (Context, action, timestamp), 二 G, H 則是一些 "not related to user-content engagements".

  • 對於 ranking, 作者設計的任務是:

    \[P(a_{i}| \Phi_{i}, a_{i-1}, \ldots, a_0, \Phi_0), \]

    即透過過往的資訊預測下一個 action.

  • 對於 retrieval, 作者設計的任務是僅對那些 \(a_i\) 為 positive 的情況進行:

    \[P(\Phi_{i}| a_{i-1}, \Phi_{i-1}, \ldots, a_0, \Phi_0). \]

    negative 的 action 不進行預測.

模型設計

  • 作者為了兼顧效率, 特別改進了模型框架:

  • 注意到, 其中的每個模組變成了:

o

  • 雖然形式上和 attention 還是比較像的, 但是注意到:
    1. \(Q(X) K(X)^T\) 並沒有經過 softmax 處理, 作者認為這樣除了效率外, 還能夠保證不同的參與度能夠有所區分;
    2. \(U(X)\), 門控機制的引入 (作者用來模擬 MoE).

  • 可以發現, softmax 這個點的影響很大.

  • 此外, 還有資料集的切分, 最佳化器的選擇等等.

雖然最後的效果並沒有特別誇張, 但是這些嘗試是值得肯定的.

程式碼

[official]

相關文章