端智慧在大眾點評搜尋重排序的應用實踐

端智慧，是指在移動端裝置執行人工智慧（AI）應用的技術。本文主要講述大眾點評搜尋場景下，在端側部署大規模深度學習模型進行搜尋重排序任務的實踐方案，包括端上特徵工程、模型迭代思路，以及具體部署優化的過程，希望能對從事相關領域開發的同學有所幫助或者啟發。

1 引言

隨著大資料、人工智慧等資訊科技的快速發展，雲端計算已經無法滿足特定場景對資料隱私、高實時性的要求。借鑑邊緣計算的思想，在終端部署 AI 能力逐漸步入大眾的視野，“端智慧”的概念應運而生。相比於傳統的雲端計算，在智慧手機等終端部署執行 AI 模組有以下幾個方面的優勢：首先，資料本地化可以緩解雲端儲存的壓力，也有利於使用者資料的隱私保護；其次，計算的本地化可以緩解雲端計算過載問題；最後，端智慧減少了和雲端系統的請求通訊成本，可以更好地利用使用者在端上的互動，提供更加實時、個性化的服務體驗。

在端智慧的應用方面，國內外各大科技公司已經走在了前列。Google 提出了 Recommendation Android App 的概念，根據使用者興趣進行內容推薦；Apple 的 Face ID 識別、Siri 智慧助手等一些我們熟知的產品，也都是端智慧典型的應用代表。阿里巴巴、快手、位元組跳動等企業也在各自的應用場景上進行了端智慧的落地，並推出相應的端上模型推理框架。比如，快手上線的短視訊特效拍攝、智慧識物等功能。另外，在搜尋推薦場景下也有一些實踐，其中，手機淘寶“猜你喜歡”在端上部署了智慧推薦系統，取得較為顯著收益（EdgeRec^[1]，雙十一 IPV 提升 10%+，GMV 提升 5%+）。快手上下滑推薦場景也應用了端上重排的方案，並取得App時長提升了 1%+ 的效果。

搜尋是大眾點評 App 連線使用者與商家的重要渠道，越來越多的使用者在不同場景下都會通過搜尋來獲取自己想要的服務。理解使用者的搜尋意圖，將使用者最想要結果排在靠前的位置，是搜尋引擎最核心的步驟。為了進一步優化搜尋個性化的排序能力，提升使用者體驗，搜尋技術中心進行了在端上部署深度個性化模型的探索實踐。本文主要介紹了端智慧重排在大眾點評 App 上的實踐經驗，文章主要分為以下三個部分：第一部分主要分析端智慧重排要解決的問題和整體流程；第二部分會介紹端上重排序演算法部分的探索實踐過程；第三部分將介紹端上重排系統的架構設計以及部署優化，最後是總結與展望。

2 排序系統進階：為什麼需要端上重排

2.1 雲端排序痛點

我們以一次完整的搜尋行為，來看一下整個前後端執行的過程。如圖 1 所示，使用者在手機端搜尋入口發起檢索請求後，觸發雲端伺服器執行，包括查詢理解、多路召回、模型排序與展示資訊合併等處理，最終返回給客戶端進行渲染呈現給使用者。

由於整個系統的每秒查詢數（QPS）的限制，以及前後端請求通訊、傳輸包體影響，通常會採用分頁請求機制。這種客戶端分頁請求，雲端服務檢索排序返回給使用者最終展示列表的 Client-Server 架構，對於大眾點評 LBS 場景、類推薦的搜尋產品來說，存在以下兩個問題：

① 列表結果排序更新延遲

分頁請求限制會導致排序結果的更新不及時。在下一個分頁請求之前，使用者的任何行為都無法對當前頁內的搜尋排序結果產生任何影響。以大眾點評搜尋結果頁為例，一次請求返回 25 個結果到客戶端，每屏展示約 3~4 個，那麼使用者需要滑動 6~8 屏左右，才能觸發新的分頁請求到雲端獲取下一頁結果（以美食頻道列表頁為例，有 20% 以上的搜尋瀏覽超過一頁結果）。雲端的排序系統無法及時感知使用者的興趣變化，並調整已下發到客戶端的結果順序。

② 實時反饋訊號感知延遲

一般來說，實時反饋訊號會通過 Storm、Flink 等流處理平臺，將日誌流以 Mini-batch 的方式計算後，存入 KV 特徵資料庫供搜尋系統模型使用。這種方式往往會有分鐘級的特徵延遲，因為需要對反饋資料進行解析處理，當涉及到更多、更復雜的反饋資料時，這種延遲表現會更加明顯。而實時反饋反映著使用者的實時偏好，對於搜尋排序的優化有著十分重要的意義。

2.2 端智慧重排流程和優勢

為了解決分頁結果排序調整決策延遲，更及時地建模使用者實時的興趣偏好變化，我們在端上建設了重排序的系統架構，使得客戶端具備深度模型推理能力，該方案具有以下幾個方面的優勢：

• 支援頁內重排，對使用者反饋作出實時決策：不再受限於雲端的分頁請求更新機制，具備進行本地重排、智慧重新整理等實時決策的功能。
• 無延時感知使用者實時偏好：無需通過雲端的計算平臺處理，不存在反饋訊號感知延遲問題。
• 更好的保護使用者隱私：大資料時代資料隱私問題越來越受到使用者的關注，大眾點評 App 也在積極響應監管部門在個人資訊保護方面的執行條例，升級個人隱私保護功能，在端上排序可以做到相關資料存放在客戶端，更好地保護使用者的隱私。

端智慧重排在大眾點評搜尋和美食頻道頁上線後，均取得顯著效果，其中搜尋流量點選率提升了 25BP（基點），美食頻道頁點選率提升了 43BP，Query平均點選數提升 0.29%。

3 端上重排序演算法探索與實踐

重排序任務在搜尋、推薦領域已有不少研究工作和落地實踐，核心解決的問題是從 N 個結果候選中，生成 Top-K 個結果的排列。具體到端上的重排序場景，我們要做的主要工作是：根據使用者對前面排序結果的反饋行為，生成候選商戶上下文的排列，使得列表頁整體的搜尋點選率達到最優。下面將詳細介紹，針對端上重排序場景，我們在特徵工程、實時反饋序列建模以及模型結構做的一些探索與實踐。

3.1 特徵工程

在端上建設特徵工程的思路和雲端搜尋排序系統基本一致，User/Item/Query/Contextual 各個維度的基礎、交叉特徵可以快速複用到端上，當然需要考慮傳輸和儲存優化，以及端、雲特徵系統的一致性，做到端雲“無感”的開發部署，這部分內容會在後面架構&部署優化章節詳細介紹。除此以外，還有一部分端上特色的使用者實時反饋訊號，包括更多細粒度的互動行為等，這些特徵也是前文所分析的端上實時反饋決策優勢的關鍵訊號。

具體來說，在端上建設的重排模型特徵體系如表 1 所示，主要包括以下幾個方面：

1. 基礎特徵，典型的使用者/商戶/Query/Context 側特徵，以及雙側的交叉特徵等。
2. 偏置特徵，主要包括後端返回的排序位置，終端裝置上存在的一些大小等視覺上的偏置。

3. 使用者的實時反饋特徵，這部分是整個端上重排特徵體系的重要組成部分，包括：

   • 使用者直接的互動行為序列（曝光、點選等）。
   • 行為關聯特徵，比如點選進入商戶詳情頁內的停留、互動等相關行為。

3.2 使用者反饋行為序列建模

對於使用者反饋序列的建模，業界有非常多的演算法方案，比如我們所熟知的 DIN（Deep Interest Network^[10]）、DIEN（Deep Interest Evolved Network^[11]）以及基於 Transformer 的 BST（Behavior Sequence Transformer^[12]）等等。端上排序場景裡，對於使用者反饋行為序列的應用會很大程度影響到演算法的效果。因此，我們也在這個方面進行了一些探索。

引入深度反饋網路

在雲端的精排模型優化工作中，我們一般只考慮使用者和商戶顯式的“正反饋”行為（包括點選、下單等），隱式的曝光未點選“負反饋”訊號則少有引入，因為長短期的歷史行為中，此類曝光未點選行為非常多，相比於點選訊號噪音很大。對於端上來說，這種實時的曝光“負反饋”訊號也很重要。比如，對於同一品牌的某類商戶實時多次曝光後，該品牌商戶的點選率會呈明顯的下降趨勢。

由於實時反饋序列中曝光未點選的隱式負反饋訊號佔了較大的比例，作為一個整體序列進行建模，對稀疏的正反饋訊號存在較大的主導影響。阿里巴巴在淘寶首頁資訊流推薦場景下也提出了一種基於對抗的方式，來挖掘曝光、點選行為序列之間的聯絡，從而尋找當前曝光序列當中有哪些行為是真正的負反饋，而哪些行為與點選有更相近的關係。微信團隊提出了深度反饋網路 DFN^[4]，通過引入正負反饋訊號的互動作用關係，進行一定程度的去噪、糾偏。

首先，基於 DFN 的優化思路，我們對反饋序列進行拆分，生成正負反饋序列，利用 Transformer 進行正負反饋訊號的 Cross Attention 互動作用。具體來說，以曝光序列和點選序列為例，曝光行為序列作為 Query，點選行為序列作為 Key 和 Value，得到曝光行為序列對點選行為序列的 Attention 結果。同理，再調換一下得到點選行為序列對曝光行為序列的 Attention 結果。考慮到正反饋訊號的稀疏性，當僅有負反饋序列時，會計算得到一些平均的無關噪音權重。因此，我們參考^[7]的做法，在負反饋序列中引入全零的向量，來消除這種潛在的噪音。具體模型結構如下圖 4 所示：

提升負反饋訊號的訊雜比

初版模型在美食頻道列表頁上線後，相比 Base 取得 0.1% 的穩定提升，但是和離線的收益對比還有一些差距，不太符合我們的預期。經過消融實驗分析發現，主要原因是負反饋訊號中存在大量噪音，而噪音產生的根源是因為部分曝光商戶的點選行為可能發生在特徵收集的時刻之後。因此，為了提高負反饋訊號的訊雜比，我們對於負反饋訊號的曝光時間進行了限制，長時間曝光但未點選的商戶更有可能是真實負反饋訊號。如下圖 5 所示，更長的停留可以關聯到更穩定的反饋訊號，線上效果更優。

多視角的正負反饋序列交叉建模

在初版正負反饋序列模型的基礎上繼續迭代，我們關注到在調整 Transformer 中 Multi-Head 的數目時，並沒有預期的增量收益，相比僅使用一個 Head 指標無明顯變化。經過分析，我們懷疑這種通過隨機初始化的生成的多頭表徵，很大程度上只是單純引數量上的擴充。

另外，在大眾點評搜尋場景下，同 Query 下商戶列表整體的相關度比較高，尤其對頁內的結果來說，同質度更高。差異性主要體現在比如價格、距離、環境、口味等細粒度的表徵上面。因此，我們設計了一種多視角的正負反饋序列交叉建模方式 Multi-View FeedBack Attention Network (MVFAN)，來強化曝光、點選行為在這些感知度更高的維度上的互動作用。具體網路結構如下圖 6 所示：

使用者行為序列按反饋型別切分為點選正反饋和曝光未點負反饋，序列除了 shopid 本身，還補充了更多泛化的屬性資訊（包括類目、價格等），以及上下文相關的特徵（比如經緯度、距離）。這些序列 Embedding 後疊加，形成最終正負反饋序列的表徵。接下來會使用多級的 Transformer 進行編碼，輸入多個維度的訊號去解碼，啟用使用者在不同商戶維度上的偏好：

1. 使用待排商戶ID作為Q，對實時反饋行為進行啟用，表達使用者隱形的多樣性興趣。
2. 使用商戶更多表現粒度的屬性資訊作為Q，啟用得到注意力權重，提升使用者在這些更顯式感知的商戶表徵上的興趣表達。
3. 使用當前搜尋上下文相關的訊號作為Q，啟用得到注意力權重，增強實時反饋行為對於不同上下文環境的自適應地表達。

$Q = [x_s, x_c, ..., x_d] \in \Re^{K\times d_{model}}$，$K = V = x_s \oplus x_c \oplus ... \oplus x_d$ 表示各種反饋序列（shop_id/category/distance/position等）相加，作為 Transformer 的輸入，Multi-View 的注意力結構可以由以下公式表示：

$$MultiHead(Q, K, V) = Concat(head_1, head_2, ..., head_h) W^O$$$$head_i = Attention(Q_iW^{Q_i}, KW_i^K, VW_i^V)$$$$Attention(Q_i, K, V) = softmax(\frac{Q_iK^T}{\sqrt{d_k}})V$$

通過消融對比實驗發現，相比於隨機初始化的 Multi-Head Attention，這種顯式使用多種商戶上下文特徵的 Transformer 啟用方式效果更顯著。

Match&Aggregate 序列特徵

對於端上的使用者實時反饋特徵，除了各種常用的基於 Attention 的序列建模方式，還有一種採用顯式交叉的興趣提取方式。如圖 7 所示，相比於一般基於 Embedding 內積計算“Soft”權重的 Attention 建模，它可以理解為一種“Hard”的 Attention 方式，提取的形式包括：Hit（是否命中）、Frequency（命中多少次）、Step（間隔多久）等等，除了單變數序列的交叉，還可以組合多個變數進行交叉，來提升行為描述的粒度和區分度。

這種基於先驗知識引入的反饋序列交叉特徵，可以一定程度上避免“Soft” Attention 方式引入的一些噪音資訊，同時也具有更好的可解釋性。比如，使用者在搜尋“火鍋”時，沒有選擇附近的商戶，而點選了常住地附近的歷史偏好商戶，這種場景下存在明顯的訊號說明使用者提前決策的意圖。這時，加入一些顯式的強交叉特徵（例如，待排商戶距實時點選商戶的距離等）就能非常好的捕捉這種意圖，從而把距離遠但和使用者意圖更匹配的相關商戶排上來。在大眾點評搜尋的場景下，我們基於該方式引入了大量的先驗交叉特徵，也取得了較為顯著的效果。

3.3 重排模型設計

關於重排序的研究，目前業界也有不少相關的工作，包括：基於貪心策略優化多目標的 MMR(Maximal Marginal Relevance) ^[8]，直接建模上下文作用關係的 Context-aware List-wise Model^[2,3] 以及基於強化學習的方案^[9]等。在搜尋端智慧重排場景上，我們採用了基於 Context-aware List-wise 的模型進行構建，通過建模精排模型生成的 Top-N 個物品上下文之間的互相影響關係，來生成 Top-K 結果。整體模型結構如下圖 8 所示，主要包括端雲聯動的訓練方案，以此來引入更多雲端的互動表徵；以及基於 Transformer 的上下文關係建模，下面將分別進行介紹。

端雲聯合訓練

一般來說，雲端的重排序模型基本都複用精排層的特徵，並在此基礎上加入精排輸出的位置或者模型分。大眾點評搜尋精排模型經過長期的迭代更新，已經建設了大量的基礎、場景相關特徵，以及建模了包括點選、訪購等多個聯合目標，這些大規模維度的特徵和多目標優化在端上直接複用存在巨大的計算開銷、儲存&傳輸壓力。而僅使用雲端模型位置或者預估分輸出，則不可避免的會損失掉很多端雲特徵的交叉表達能力。同時，對於到端雲兩側的模型迭代、更新，還會存在較大的維護成本。

因此，我們採用端雲聯合訓練的方式把大量的雲端特徵交叉訊號，以及多目標高階表徵引入到端上使用。如圖 9 所示，雲端的模型訓練收斂後，加入到端上重排任務繼續 Fine-tune 更新。需要注意的是：

1. 因為搜尋精排層使用的是 ListWise 的 LambdaLoss，模型輸出的預估分僅有相對的大小意思，不能表示商戶的點選率預估範圍，無法進行全域性的絕對值使用。故僅採用網路的最後一層輸出接入。
2. 僅接入最後一層的 Dense 輸出，大大損失了雲端特徵與端上特徵的交叉能力，因此，需要通過特徵選擇方式，選取頭部特徵加入到雲端進行使用。

重排商戶上下文建模

商戶上下文重排建模結構參考 PRM^[3]，結合端上應用場景做了一些調整，具體結構如下圖 10 所示：

主要由以下幾個部分構成：

• 商戶特徵向量 X ：由前文所述的各方面特徵（User/Shop 單、雙側統計交叉特徵、反饋序列編碼特徵，以及雲端融合輸出的特徵）經過全連線對映後的輸出進行表示。該輸出已包含位置資訊，所以後續的 Transformer 輸入不需要再增加位置編碼。
• 輸入層需要進過 Query Dynamic Partition 處理，切分為每個 Query 單元的上下文商戶序列，再輸入到 Transformer 層進行編碼。
• Transformer 編碼層：通過 Multi-Head Self-Attention 編碼商戶上下文關係。

優化目標

在搜尋場景下，我們關注的還是使用者搜尋的成功率（有沒有發生點選行為），不同於推薦、廣告場景往往基於全域性性損失預估 item 的點選率，搜尋業務更關心排在頁面頭部結果的好壞，靠前位置排序需要優先考慮。因此，在重排提升使用者搜尋點選率目標的建模中，我們採用了 ListWise 的 LambdaLoss，梯度更新中引入 DeltaNDCG 值來強化頭部位置的影響。詳細推論和計算實現過程參見大眾點評搜尋基於知識圖譜的深度學習排序實踐。

$$C = \frac{1}{2}(1 - S{ij})\sigma(s_i - s_j) + log(1 + e^{-\sigma (s_i-s_j)})$$
$$\lambda_{ij} = \frac{\partial C(s_i - s_j)}{\partial s_i} = \frac{-\sigma}{1 + e^{\sigma (s_i-s_j)}}| \Delta _{NDCG}|$$

3.4 多場景應用效果

綜合上述特徵&模型優化舉措，相關的離線實驗指標效果對比如表 2 所示：

端智慧重排序在點評主搜和美食頻道列表頁上線 AB 實驗，核心業務指標 QV_CTR 均在高位基礎上取得顯著提升。如圖 11 所示，上半部分，主搜列表頁 QV_CTR 提升 0.25%，美食頻道列表頁 QV_CTR 提升 0.43%，分端表現穩定正向。另外，從下半部分分位置的點選率對比曲線，可以看出，端上重排能夠一定程度上緩解固定分頁請求的點選衰減效果，尤其在靠後的幾屏展示上都有比較顯著的提升。

4 系統架構與部署優化

不同於雲端的大規模深度模型上線，幾百 GB，甚至上 T 的模型都可以通過擴充機器分片載入的分散式方案部署使用。終端裝置的計算和儲存能力雖然有了顯著提升，可以支援一定規模的深度模型進行推理，但相對來說，端上的儲存資源是非常受限的，畢竟 App 整體的大小最多不過幾百 MB。

因此，除了前面提到的在特徵選擇、觸發決策控制上對效果與效能進行權衡外，我們還在模型部署、壓縮上做了進一步優化，並對能耗等各方面指標進行詳細的評估。另外，為了更高效地迭代端上的模型，包括進一步挖掘使用者實時的興趣偏好特徵，自研了一套和雲端系統流程一致的“端無感”模型訓練、預估框架，下面會逐步展開介紹。

4.1 系統架構

整體的端智慧重排系統架構，包括和雲端的搜尋排序系統聯合部署方案如圖 12 所示。具體來說，主要有以下三大模組來支援端上重排系統的實現：

• 智慧觸發方案模組，針對業務設計的各類觸發事件，執行端上智慧模組的排程。例如，使用者點選商戶行為觸發執行本地重排。

• 端上重排服務模組，執行構建特徵資料，並呼叫端側推理引擎執行重排模型，進行打分輸出。其中：

  • 特徵處理部分，是搜尋技術中心針對搜/推/廣演算法場景，專項設計的一套方便演算法使用的通用特徵運算元處理服務。支援對客戶端、雲端的各種型別資料，使用輕量、簡便的表示式構建特徵。
  • 端側推理引擎部分，是終端研發中心輸出的統一模型管理框架，支援各類端上輕量級推理引擎部署，以及模型的動態下發控制等。
• Native 重排處理邏輯部分，主要進行重排輸出後的結果回插，重新整理控制處理。

4.2 端上大規模深度模型部署優化

Sparse Embedding 與 Dense 網路拆分部署

因為端上的計算資源受限，無法儲存完整的超大規模引數模型，因此，基於最直觀的思路，我們將離線訓練的模型引數拆分成了 Dense 網路與大規模 ID 特徵的 Embedding Table 分別部署：

1. 主 Dense 網路以及一些較小的 Query/Contextual 特徵、Shop 基礎屬性特徵等輸入層結構，轉化成 MNN 格式，儲存在美團資源管理平臺上，供客戶端啟動時一次性拉取，儲存在客戶端本地。
2. 大規模的 ID 特徵 Embedding Table 部分（佔整體網路引數量的 80%），儲存在雲端的 TF-Servering 服務中，在客戶端發起搜尋請求時，會從 Serving 服務中獲取當前頁商戶結果所對應的 Embedding 特徵，與商戶結果列表一同下返回到客戶端，與客戶端構建的其餘特徵一起 Concat 後，輸入到推理引擎進行打分重排。

模型壓縮

經過上一步拆分處理，模型大小可以控制在 10MB 以內，為了進一步減少模型在手機端的空間佔用，以及功耗/效能影響，我們採用了美團視覺智慧部提供的壓縮方案。該方案針對現有的神經網路模型壓縮技術沒有考慮要契合部署的端智慧裝置、壓縮後的模型往往不能適配特定的裝置、輸出結果對齊度差等問題，設計了能更好用於移動端上部署的神經網路壓縮工具，更好地在端上推理框架上發揮了效能。

壓縮優化後從下面的測試對比資料可以看到，模型大小進一步減小到 1MB 以內，同時精度損失在十萬分位差距。採用 Sysdiagnose 進行耗電分析，開啟推理功能，重複動作：從首頁搜尋“火鍋/五角場”，進入搜尋列表頁進行首次重排推理，滑動列表再次計算後，退出頁面（測試時間為 10 分鐘，間隔 20 秒採用一次），相關的能耗指標均無顯著的變化。

4.3 端智慧模型訓練預估平臺

不同於雲端的排序演算法實驗流程，已經有成熟、完善的訓練預估平臺支援，特徵&模型上線非常便捷、高效。客戶端的實驗流程前期存在非常大的迭代效率問題，比如模型的上線流程繁瑣，包括模型結構的分離、轉換&驗證以及釋出依賴大量的人工操作，跟多個內部平臺的流轉、對接；另外特徵迭代效率低下，需要客戶端協同開發相應的特徵加工邏輯，存在較大的邏輯一致性風險，而且還會存在分端的實現差異等問題。

基於此，美團的前後端工程合力推進開發、設計了一套適配客戶端的 Augur 特徵處理框架，將端上的模型釋出和特徵處理與一站式實驗平臺（Poker）、統一預估框架（Augur）進行打通，為進一步的演算法迭代實驗奠定了良好的基礎，後續搜尋技術中心團隊也會向大家介紹面向端智慧演算法應用的一站式模型訓練預估平臺，敬請期待。

5 總結與展望

端智慧重排序是大眾點評搜尋在邊緣計算方向的一次探索實踐，並且在核心指標上取得了較為顯著的效果。通過利用端上計算的能力，更高效地捕捉使用者的實時興趣偏好，彌補雲端服務決策延遲、使用者反饋資訊獲取延遲等問題。及時調整未曝光候選結果的順序，把更符合使用者意圖的商戶排上來，從而帶來更好的使用者搜尋觸達體驗。同時，我們對前後端訓練、部署預估框架進行了升級，為後續進一步快速迭代實驗奠定了良好的基礎。

大眾點評搜尋技術中心團隊會持續進行端智慧技術在各個業務場景中的落地，未來可以探索優化的方向還包括：

1. 基於聯邦學習模式，進一步在保證資料隱私安全及合法合規的基礎上，迭代端雲聯合的智慧搜尋排序模型。
2. 建模更精確、多樣的觸發控制策略，對於端上實時使用者意圖感知的決策模組，當前的控制策略還比較簡單。後續我們會考慮結合 Query 上下文，使用者反饋訊號等特徵輸出更靈活的預判訊號，同時請求雲端，獲取更多符合使用者當前意圖的候選結果。
3. 繼續優化重排序模型，包括實時反饋序列建模演算法，探索對於隱式負反饋訊號更魯棒的編碼表達方式等。
4. 思考端上更豐富、靈活的應用場景，比如模型的個性化定製，做到“千人千模”的極致個性化體驗。

作者簡介

祝升、劉哲、湯彪、嘉煒、凱元、楊樂、洪晨、曼曼、華林、孝峰、張弓，來自美團/大眾點評事業部/搜尋技術中心。

逸然、朱敏，來自美團平臺/搜尋與NLP部/工程研發中心。

參考資料

[1] Yu Gong, Ziwen Jiang, et al. "EdgeRec: Recommender System on Edge in Mobile Taobao" arXiv preprint arXiv:2005.08416 (2020).
[2] Qingyao Ai, Keping Bi, et al. "Learning a Deep Listwise Context Model for Ranking Refinement" arXiv preprint arXiv:1804.05936 (2018).
[3] Changhua Pei, Yi Zhang, et al. "Personalized Re-ranking for Recommendation" arXiv preprint arXiv:1904.06813 (2019).
[4] Ruobing Xie, Cheng Ling, et al. "Deep Feedback Network for Recommendation" (IJCAI-2020).
[5] 非易、祝升等. 大眾點評搜尋基於知識圖譜的深度學習排序實踐.
[6] 肖垚、家琪等. Transformer 在美團搜尋排序中的實踐.
[7] Qingyao Ai, Daniel N Hill, et al. "A zero attention model for personalized product search" arXiv preprint arXiv:1908.11322 (2019).
[8] Teo CH, Nassif H, et al. "Adaptive, Personalized Diversity for Visual Discovery" (RecSys-2016).
[9] Eugene Ie, Vihan Jain, et al. "SLATEQ - A Tractable Decomposition for Reinforcement Learning with Recommendation Sets" (IJCAI-19).
[10] Zhou, Guorui, et al. "Deep interest network for click-through rate prediction." (SIGKDD-2018).
[11] Zhou, Guorui, et al. "Deep interest evolution network for click-through rate prediction." (AAAI-2019).
[12] Chen, Qiwei, et al. "Behavior Sequence Transformer for E-commerce Recommendation in Alibaba." arXiv preprint arXiv:1905.06874 (2019).

招聘資訊

美團/點評事業部-搜尋技術中心，致力於打造一流的搜尋系統和搜尋體驗，滿足大眾點評使用者的多樣搜尋需求，支撐各業務在大眾點評 App 上的搜尋需求。歡迎感興趣的同學傳送簡歷至：edp.itu.zhaopin@meituan.com。

閱讀美團技術團隊更多技術文章合集

前端 | 演算法 | 後端 | 資料 | 安全 | 運維 | iOS | Android | 測試

| 在公眾號選單欄對話方塊回覆【2021年貨】、【2020年貨】、【2019年貨】、【2018年貨】、【2017年貨】等關鍵詞，可檢視美團技術團隊歷年技術文章合集。

| 本文系美團技術團隊出品，著作權歸屬美團。歡迎出於分享和交流等非商業目的轉載或使用本文內容，敬請註明“內容轉載自美團技術團隊”。本文未經許可，不得進行商業性轉載或者使用。任何商用行為，請傳送郵件至tech@meituan.com申請授權。