《AutoEmb: Automated Embedding Dimensionality Search in Streaming Recommendations》論文閱讀筆記

1. 背景：
   基於深度學習的推薦系統，能夠有效獲得使用者專案之間的非線性關係，並學
   習他們的特徵。主要由三部分組成：
   （1） 嵌入層：將使用者專案特徵從高維空間對映到低維空間中；
   （2） 隱藏層：對輸入特徵進行非線性變換；
   （3） 輸出層：基於特徵進行預測
2. 已有研究：
   為使用者，專案嵌入向量預定義一個固定統一的維數。重點關注隱藏層和輸出層。
3. 存在問題：
   （1） 實際中存在大量使用者，專案，並且流行度會動態變化，因此嵌入向量大小的選擇是RS中的問題。
   （2） 對於第一個隱藏層，很難處理嵌入層的不同維數。
4. 本文：
   基於AutoML的端到端框架，以一種自動動態變化的方式根據流行度改變嵌入向量的維數。
   
5. 詳細：
   規模小使用短的嵌入向量，隨著規模的增加，使用長的嵌入向量。
   基本的處理方法：將不同的嵌入維數轉換為相同的（使用全連線層），轉換以後的嵌入向量變化很大（使用BatchNorm），最終RS只需要選擇（軟，加權）一部分轉換以後的嵌入向量進行預測。
   嵌入向量大小的選擇：使用AutoML
   輸入：當前使用者/專案流行度 + 上下文資訊（如先前的超引數，損失等）；
   輸出：經過softmax函式，選擇第n個嵌入空間的概率。