互動式推薦在外賣場景的探索與應用

美團技術團隊發表於2023-02-17
外賣場景的使用者停留時長低於傳統電商,對使用者實時需求的理解和反饋有更高的要求。針對業務問題,外賣推薦團隊從2021年起開始持續投入,最終摸索出了一套適用於外賣場景的互動式推薦架構和策略,並取得了較好的收益。本文詳細介紹了外賣首頁Feed在搭建互動式推薦時遇到的挑戰和解決思路。

1. 背景

1.1 什麼是互動式推薦?

互動式推薦是一種互動式實時推薦產品模組,主要透過理解使用者需求、以互動的方式進行推薦。互動式推薦由Youtube在2018年提出[1],主要用於解決推薦系統的延遲[2]和與使用者互動偏弱的問題。

從2021年下半年開始,美團外賣推薦技術團隊在外賣首頁Feed上持續進行探索,2022上半年完成全量。具體流程如影片1所示:使用者從首頁Feed進入商家詳情頁並退出之後,動態地插入新的推薦內容到使用者推薦列表中。其主要優勢是根據使用者的實時需求動態插入卡片進行反饋,進而增強使用者的使用體驗。

影片1 外賣首頁Feed中的互動式推薦形態

1.2 為什麼需要互動式推薦?

我們發現,外賣首頁Feed在使用者即時興趣的捕捉和反饋上存在痛點,“對比型”使用者的選購效率和體驗不佳。外賣首頁Feed作為泛意圖使用者主要選購場景之一,使用者在瀏覽到成單過程中通常需要進行一番對比、才能逐步收斂意圖,然後做出最終決策。

但受限於長列表的翻頁模式,首頁Feed根據使用者需求實時調整推薦結果的能力不足。具體表現在,一部分使用者的瀏覽深度不足一頁,推薦系統沒有額外的機會根據使用者興趣調整推薦結果。另一部分使用者雖然有較深的瀏覽深度,但需要等到翻頁時推薦系統才能重新理解使用者意圖,實時性不足。

業界最佳化這類問題的主要產品形態有互動式推薦、動態翻頁、端上重排這三種。互動式推薦由於是在使用者可視範圍內插入,使用者感知較強;後兩種的主流形態是在使用者不可見區域更新推薦,使用者感知相對較弱。其實,這三種形態在美團外賣均有嘗試,本文重點聚焦於互動式推薦的介紹。

2. 問題與挑戰

我們在外賣場景搭建互動式推薦時,主要面臨以下難點和挑戰:

  • 不同於傳統的推薦系統,互動式推薦是由使用者觸發的推薦,外賣場景下,如何更好的匹配使用者實時需求,搭建出一套適用於外賣的、基於端智慧框架的推薦系統是我們首要解決的問題。
  • 作為首頁Feed內部的個性化模組,互動式推薦只做單一模組的最佳化是不夠的,還要考慮首頁Feed整體的訪購效率。那麼,如何選擇最佳化目標,以及如何衡量效果和收益,是擺在我們面前的第二個問題。
  • 主流的Feed形態是雙列商品瀑布流,但外賣首頁Feed是以商家為主的單列列表,如何避免互動在使用者的選擇路徑上帶來的“干擾感”,在合適的時機觸發互動式推薦,是我們面臨的第三個問題。
  • 互動式推薦具有動態插入效果,使用者對於推薦結果好與壞的感受會更加明顯。如何更好理解使用者即時意圖,如何利用首頁Feed列表推薦結果最佳化互動式推薦的單商家卡片,是我們面臨的第四個問題。

本文將從以上四個方面,詳細介紹外賣首頁Feed互動式推薦從0到1搭建的全過程,以及針對以上問題的解決思路。

3. 主要工作

3.1 互動式推薦框架

3.1.1 整體鏈路

上文提到,要實現互動式推薦,搭建出一套適用於外賣的、基於端智慧框架的推薦系統非常重要。搭建思路可以用“4W1H”來總結:

  • Where/How:互動式推薦卡片展示在哪?互動式推薦卡片的展現形式是什麼?涉及產品形態。
  • Who/When:互動式推薦需要對什麼樣的使用者觸發?在什麼時機下觸發?涉及使用者意圖理解。
  • What:互動式推薦卡片需要展示什麼?涉及推薦策略。

基於對上述問題的思考和多方探討,我們最終和產品、端智慧、客戶端、應用服務和推薦工程等多個相關團隊一起,搭建了這套適用於外賣首頁Feed的互動式推薦鏈路。

圖1 互動式推薦整體鏈路

上圖1展示了從“使用者點選首頁Feed商家卡片”開始,到互動式推薦卡片展現”的全流程。使用者進入點菜頁後,由客戶端呼叫端智慧的意圖理解引擎;滿足互動式推薦的觸發條件後,進行特徵處理、計算和儲存,並將計算好的將特徵傳遞給客戶端組裝推薦請求;推薦請求由應用服務層透傳給混排服務,再由混排呼叫商家推薦模組,經過召回、排序、機制、透出階段,最終返回結果到客戶端進行展示。

3.1.2 產品形態

文章開頭部分的影片1是我們線上的最終形態(在使用者點選商家下方插入單個商家卡片),但在此之前,我們對互動式推薦的卡片形態和互動邏輯進行了多輪嘗試。

  • 在卡片形態上,我們先後探索、上線了搜尋詞卡片、多商家聚合卡片(如影片2所示)、單商家卡片(如影片所示)等多種形態,測試不同卡片型別對使用者選購的影響。
  • 在互動邏輯上,為了避免插入動畫對使用者選購的“干擾感”,也對比了“在點選卡片上覆蓋”和“在點選卡片下方插入”兩種互動,測試對於使用者選購的影響。

影片2 互動式推薦雙商家卡片展示樣式

在觀測不同產品形態的效果差異時,我們重點關注插入的互動式卡片對於首頁Feed的千人成交額的影響,實驗資料見下表:

其中,UV_CXR = 交易使用者數/曝光人數。

在探索過程中,我們也迭代了以下3點認知:

  • 首先,單列列表中,越原生的卡片(和主流卡片相似度高),對於使用者的干擾越小,也更容易被使用者接受,從而產生點選、成單等行為。
  • 其次,不論是搜尋詞推薦,還是多商家聚合推薦,儘管看上去外露供給更多,但在轉化鏈路中增加了落地頁環節,實際帶來的折損會更高(如下圖2所示);同時,由於互動式推薦要保證一定的相關性,落地頁形態對於供給豐富度的要求更高,但是LBS(基於位置)推薦中供給相對更少,因而難度也更大。
  • 另外,在使用者選購過程中,“多店對比”是非常常見的場景,因此,將點選商家覆蓋住儘管節約了一個坑位,但帶來的負向影響要大於其正向收益。

圖2 轉化漏斗:多商家聚合卡片轉化漏斗(左),單商家卡片轉化漏斗(右)

3.2 評估方式和評估指標

互動式推薦的目標是提升首頁Feed整體訪購效率,進而提升使用者體驗。評估其收益的核心指標,落腳到首頁Feed整體轉化效率。然而,互動式推薦有觸發策略約束條件(詳見3.3節),流量佔比也較低,同時和首頁Feed在使用者成單上存在“擠佔”效應。當互動式卡片的訪購效率有較大幅度提升時,才能撬動首頁Feed的整體效率。因此,只觀測首頁Feed整體效率,無法指導互動式推薦的日常策略的迭代和效果的分析,需要更直接、置信的指標衡量“什麼是好的互動式推薦演算法”。

我們評估互動式推薦演算法,主要考慮兩個維度:

  • 插入卡片的覆蓋面
  • 插入卡片的匹配度

為了應對以上兩個維度的評估,我們分別引入“曝光頁面Page佔比”、“同位置訂單增量”來衡量互動式推薦對首頁Feed曝光的影響。

評估覆蓋面,常見指標是曝光量、曝光佔比。但互動式推薦卡片插入後會改變首頁Feed曝光量,直接計算其在首頁Feed的曝光佔比不合理。因此,我們將統計曝光的維度從“量”改為“頁面”,透過計算互動式卡片曝光Page數在首頁曝光Page數的佔比來評估卡片覆蓋面。

觀測Page佔比(下文簡稱“曝光頁面Page佔比”)便於評估互動式推薦的覆蓋面和其理論上限的差異,如果使用者在首頁Feed的每次點選商家都觸發並展示互動式商家卡片,曝光Page佔比和首頁Feed的Page CTR(曝光點選率)等同。因此,結合首頁Feed的Page CTR,我們就可以觀察到互動式推薦覆蓋面和其理論上限的差距,便於繼續最佳化逼近上限。曝光頁面page佔比對同一頁面多次觸發不敏感,因此,我們引入了互動式卡片曝光PV佔比(互動式卡片曝光量佔首頁Feed曝光量的比值)、曝光UV(曝光互動式卡片的使用者佔首頁Feed曝光使用者的比值)佔比輔助觀測對首頁Feed的影響。

評估匹配度,常見指標是曝光到成單的轉化率。我們認為,互動式推薦插入的商家應該比上下文中的其他商家更符合使用者當前的興趣。因此,最直觀的指標就是對比互動式卡片和首頁Feed其他卡片的轉化率,但這兩類卡片對比,會存在三種偏差:

  • 人群偏差:互動式推薦曝光人群是產生過點選的使用者,這部分使用者群體的轉化率天然高於“大盤”。
  • 位置偏差:互動式推薦卡片由使用者點選觸發,由於排在前面的商家往往更容易被點選,因此互動式卡片的曝光位置相對更加靠前。
  • 資源型別偏差:首頁Feed列表涉及較多主題、廣告等異構流量,大部分異構流量往往並不是從轉化率出發進行排序。

上述3個偏差,使得互動式卡片轉化率天然比首頁Feed其他卡片轉化率高,因此簡單比較互動式卡片和首頁Feed正常卡片之間的差異並不能正確評估互動式推薦本身的價值。而互動式推薦的產品特性是將原來曝光在首頁Feed的卡片依次往後擠壓,因此只有當互動式推薦卡片的轉化率高於原本該位置的卡片(也就是後來被擠壓到互動式卡片的下一位的卡片)的時候,互動式推薦才能產生正面效果。

基於此,我們使用“對比同一次請求內,與下一位自然商家預估轉化率的相對差異”(下文簡稱相對下一位差異)來衡量推薦卡片的匹配度,“同請求”解決了人群偏差問題,“下一位”緩解位置偏差問題,“自然商家”解決了資源型別偏差問題。

此外,擴大覆蓋面通常會引起匹配度的下降,為了平衡這兩個指標,我們引入“相對下一位差異乘以互動式卡片曝光量”作為策略迭代的輔助觀測指標,其物理意義是插入互動式卡片並將原來的卡片往下擠壓之後,在該位置產生的預期訂單數的增量(下文簡稱“同位置訂單增量”)。

3.3 使用者意圖理解

互動式推薦,由推薦系統感知到使用者的“互動”觸發。其理解使用者意圖的流程主要包含兩個階段:1)使用者對推薦系統的哪些行為可以觸發互動式推薦;2)觸發互動式推薦時使用者的即時意圖是什麼樣的。下文將會圍繞這兩部分展開說明。

圖3 使用者意圖理解引擎

3.3.1 首次觸發策略

為了探索不同觸發時機對互動式卡片“相對下一位差異”、“曝光頁面Page佔比”等指標的影響,我們根據使用者的不同需求,嘗試了加購物車、點選菜品、停留時長(10s/5s/2s/進店立即)觸發等時機。實驗證明,放寬觸發條件會增大互動式推薦不置信觸發的風險,導致互動式卡片效率下降,但會帶來互動式卡片曝光量的提升,覆蓋更多的使用者,有利於後續策略迭代。最終,我們採用“使用者從首頁Feed進店後立即觸發”的首次觸發策略。

3.3.2 連續觸發策略

由於使用者在商家詳情頁的停留時長無法確定,且工程上無法實現在使用者返回列表的瞬間請求推薦服務並展示結果,因此,在使用者瀏覽商家詳情頁期間,系統需要連續多次向服務端請求推薦結果,使用者在商家詳情頁的停留時長越長、需求越明確,服務端的推薦結果也就越精準。所以,我們採用“連續觸發策略”,即隨著使用者在店內停留時間的增加,或者使用者產生新的菜品點選、加購特徵後,客戶端會連續多次向後端服務發起請求,更新推薦結果。

3.3.3 使用者實時需求理解

如何透過端智慧[3-4]更好理解使用者意圖是我們關注的重點,相比服務端,使用者在端上的特徵主要有以下2個特點:

  • 實時性更好:從“準實時”到“超實時”的互動。
  • 維度更細:從“互動Item”進化到“Item互動的Micro-粒度”。

因此,藉助端智慧的能力,我們不再受限於首頁Feed的分頁請求更新機制,能夠根據使用者行為,更好理解使用者需求,實時智慧決策更新推薦結果,緩解反饋訊號感知延遲問題。

使用者點選商家卡片後在店內的主要行為可以幫助我們更好理解使用者實時需求。圖4(a)展示了部分店內行為,圖4(b)分析了部分不同的行為對比檢視商家介紹行為,在使用者當日完單率(當日完單率定義:當日使用者在商家內發生某一行為,並在該自然日內外賣有成單)上的差異,說明不同行為下使用者的需求有明顯差異。

圖4(a) 使用者店內主要行為

圖4(b) 使用者店內主要行為對比“檢視評論”當日下單率差異

3.4 推薦排序策略

首頁Feed一次展示整個列表,而互動式推薦一次僅展示1個商家卡片。為了推薦更精準的結果,就需要互動式推薦更準確的理解使用者實時的外賣需求。因此,我們在首頁Feed的推薦鏈路的基礎上,透過最佳化“召回->排序->機制->透出”鏈路,覆蓋更多使用者的同時,不斷提升互動式推薦和使用者興趣的匹配度。

3.4.1 召回

召回階段分為兩步(如下圖5所示):

  • 利用多個召回演算法策略從使用者附近召回數百個候選POI商家。
  • 利用相似品類過濾方案來過濾和當前使用者意圖明顯不同的商家,並將生成的候選結果傳給排序階段。為更好理解使用者即時意圖,我們提出了Item2Item Multi-Trigger召回和相似品類過濾方案。

圖5 召回階段流程圖

首先,一方面,我們直接複用了首頁Feed推薦的召回鏈路,融合了雙塔召回[5]、User2Item召回[6]、熱銷召回等多個召回演算法。另一方面,為了加強對使用者即時意圖的理解和關注,我們新增了一路Item2Item Multi-Trigger旁路召回。

具體做法是:我們將使用者在首頁Feed點選、加購的POI,作為Item2Item召回的Trigger,召回更多符合使用者即時意圖的商家。其中每個使用者的Trigger數是不同的,每個Trigger召回的商家數量也是不同的,其數量滿足N/M(N是I2I Multi-Trigger召回的POI總數,M是Trigger數量)。

其次,使用者最近點選的商家能夠幫我們更好理解使用者即時意圖。我們考慮到外賣場景“對比型”使用者居多的特點,為了給使用者帶來更好的體驗,提出了“同葉子品類”策略:約束了曝光的互動式卡片商家,必須和觸發商家的葉子品類(體現的是商家口味,和主營菜品有關,比如串串香、雞肉卷)相同。但是該方案會帶來2個問題:

  • LBS約束下同葉子品類商家較少,導致互動式卡片曝光量少。
  • 外賣場景下商家品類定義的粗細(每個商家包含由粗到細的多個級別的品類)粒度不同,互動式推薦需要一套統一的品類定義方式,既要保證推薦商家品類與使用者興趣的高相關性,又需要推薦結果有一定的多樣性。

因此,我們參考了現有商家品類定義,考慮了商家口味、消費者相似性以及商家包含的商品品類分佈等維度,透過聚類的方法重新定義了互動式推薦的相似品類。具體來說,我們將200個左右的細粒度的品類,定義為70個左右的粗粒度品類,在滿足“對比型”使用者訴求的同時,也為更多使用者帶來了新穎性、多樣性的體驗。

我們提出的策略,在明顯提升互動式卡片曝光頁面Page佔比的同時,對比下一位差異明顯提升,具體效果可以見下表:

3.4.2 排序

排序階段,模型的主要任務是預測CTR、CXR(曝光轉化率),並將預估結果傳給機制階段。

最佳化互動式推薦的排序模型,我們主要面臨樣本分佈差異、訓練樣本少的問題。互動式推薦的單商家卡片形態和首頁Feed的列表形態天然有差異,導致其樣本分佈上(如點選率、轉化率、人群分佈上)明顯不一致,直接使用首頁Feed的推薦模型缺少對互動式推薦場景個性化的關注,效果會有明顯衰減。簡單的做法是直接使用互動式推薦的樣本訓練模型,但是互動式推薦單場景樣本較少,會導致模型魯棒性不足。

因此,我們選擇了業界通用的Fine-tune的方法,在首頁Feed排序模型的基礎上,利用互動式推薦的樣本Fine-tune排序模型。同時,我們充分利用了3.3.3節構建的使用者實時需求理解模組,最佳化模型效果。當然,我們也探索了不同網路結構對於模型效果的提升,但是限於算力資源等約束,我們並沒有上線更為複雜的互動式推薦排序模型,具體的模型結構如下圖6所示。

圖6 模型結構圖

輸入模型的Embdding資料,經過MMoE[7]層和3層的MLP網路,得到預測的pCTR、pCXR結果。其中,模型的輸入特徵分為5種型別:1)使用者特徵;2)商家特徵;3)上下文特徵;4)序列特徵;5)觸發互動式推薦的商家特徵。序列特徵,包含了實時曝光、點選等序列,並且使用了Micro-Behavior[8]詳細資訊。

觸發互動式推薦的商家特徵,包含商家的embdding表示、配送資訊、優惠資訊等,排序模型離/線上效果如下表所示。可以看出,對比首頁Feed排序模型,最佳化後的互動式推薦排序在卡片效率上顯著優於直接使用首頁Feed排序模型的效果。

3.4.3 機制

為了更為靈活的承載業務目標,我們引入了機制模組,目標是對排序階段傳過來的候選商家,根據不同業務目標進行順序調整(如CTR、CXR、新穎性等)。最終,在兼顧新穎性的目標下,互動式推薦按照預估CXR排序,以最大化卡片和列表轉化率。與此同時,我們還從解決負面反饋、最佳化體驗兩方面進行了體驗最佳化:

  • 透過業務規則約束來解決負面反饋,主要包括:重複曝光商家過濾、預下單商家過濾、同品牌商家過濾、使用者不喜歡&黑名單商家過濾,以及避免插入配送費過高、配送距離過遠的商家。
  • 在互動體驗方面:1)透過在新穎性等目標上的探索,給使用者更豐富的推薦體驗;2)透過推薦理由的最佳化,為使用者解釋推薦原因。

3.4.4 透出

透出階段,主要判斷機制階段傳過來的Top 1的商家是否展示給使用者。理論上,使用者每次“觸發”互動式推薦,系統都有可能推薦一個新的商家進行展示。但是,不考慮商家質量的推薦策略對使用者體驗和首頁Feed效果都有很大損傷。因此,我們探索了卡片的透出策略,即機制階段透傳的Top 1卡片是否展示。

如下圖7所示,商家展示區域劃分為ABCD四個區域:互動式推薦插卡位置(A)、觸發商家(B)、觸發商家上文(C)、觸發商家下文(D)。互動式卡片插入後,D區域第一位商家下滑,動畫效果會將使用者的注意力吸引到互動式卡片A上。但是,使用者是否在互動式推薦的商家A中成單,不僅和它是否滿足使用者偏好相關,還離不開和上下文商家C、B、D的對比效果——至少,A應該比C、B、D區域的商家更符合使用者當前意圖。

圖7 商家展示區域劃分

我們更關注首頁Feed的轉化率,因此,當互動式推薦商家比同上下文的其他商家的pCXR更高時,這個商家才應該被曝光,其形式是:

隨後,有幾個問題:對比B、C、D區域哪些商家?互動式推薦商家A的pCXR要比對比商家高多少(透過公式1比例係數α控制)才應該被展示?對於後者,我們透過實驗得出;對於前者,我們分析如下:

  • C區域:使用者已經瀏覽過,點選/成單的可能性更低。顯然,對比該區域商家意義不大。
  • B區域:使用者“最近一次點選”&&“觸發互動式推薦”的商家,使用者對該商家很感興趣。與其比較看似有明確意義,但該商家能曝光,說明是同類/相似商家中的佼佼者,在排序模型/特徵不做改動的前提下,難以找到pCXR更好的商家。
  • D區域:使用者未瀏覽到,互動式商家卡片A一旦展示,其插卡的動態效果同時會使得使用者更注意該區域。因此,與這部分商家做對比更符合直覺。

由於限制了卡片的透出條件,互動式卡片曝光量明顯下降。實驗證明,當互動式推薦卡片對比下1位商家卡片的pCXR更高時,其同位置訂單增量最高,曝光頁面Page佔比損失最少,策略最優。我們採用該方案。從實驗資料看出,對比下N位pCXR均值時,隨著N取值的變化,會影響互動式卡片的曝光量和效率,其效果與直接調整pCXR的過濾閾值α等同。在實際生產環境中,選取“互動式推薦同位置訂單增量”較高時的引數α即可,這裡我們取1。

4. 總結與展望

本文介紹了我們在首頁Feed互動式推薦探索嘗試,其中主要包括:

  • 依託端智慧的能力,結合外賣場景下的使用者“多店對比”的選購特點,搭建了“動態插入單卡商家”的互動式推薦系統。
  • 充分考慮插入卡片對首頁Feed上下文的影響,提出了“同位置訂單增量”等指標,從匹配度、覆蓋面兩方面構建了“什麼是好的互動式推薦系統”的評估方式。
  • 從業務理解、使用者需求建模等方面出發,透過最佳化“觸發->召回->排序->機制->透出”鏈路,提升系統對使用者意圖理解的準度,最佳化使用者體驗。

目前,互動式推薦已在首頁Feed全量,我們也收穫瞭如下的業務收益:

  • 首頁Feed千人成交額+0.43%,首頁Feed曝光新穎性+1.16%。
  • 互動式卡片相對下一位自然商家的轉化率+132%。

未來,我們將從以下方向進行探索最佳化:

  • 最佳化產品形態:從定製推薦理由、觸發時機等多個角度繼續最佳化互動式推薦的產品功能,並將動態化推薦能力擴充套件到外賣其他場景。
  • 承載更多業務目標:在滿足使用者精準推薦的前提下,綜合新穎性、多樣性等多種差異化的業務目標,進行建模最佳化。
  • 擴大端智慧優勢:現有的互動式推薦系統將特徵處理、召回、排序、機制等流程都放在服務端完成,但是服務端<->雲端的效能限制了更多資訊的加工利用,未來可以放到端上完成訓練、預估,在實現“千人千模”的極致個性化體驗的同時,有效保護使用者的隱私。與此同時,我們可以藉助端智慧的優勢,探索端上重排序的方案。

5. 本文作者

| 姬晨、亞成、王煒、成龍、姜飛、王聰、北海等,來自到家事業群/到家研發平臺/搜尋推薦技術部。
| 姝陽、張婧等,來自到家事業群/外賣事業部/產品部。

6. 參考文獻

  • [1] Christakopoulou K, Beutel A, Li R, et al. Q&R: A two-stage approach toward interactive recommendation[C]//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2018: 139-148.
  • [2] Xinran He, Junfeng Pan, et al. Practical lessons from predicting clicks on ads at facebook. In Proceedings of the Eighth International Workshop on Data Mining for Online Advertising. ACM, 1–9, 2014.
  • [3] Gong Y, Jiang Z, Feng Y, et al. EdgeRec: recommender system on edge in Mobile Taobao[C]//Proceedings of the 29th ACM International Conference on Information & Knowledge Management. 2020: 2477-2484.
  • [4] 端智慧在大眾點評搜尋重排序的應用實踐.
  • [5] Po-Sen Huang, Xiaodong He, Jianfeng Gao, Li Deng, Alex Acero, and Larry Heck. 2013. Learning Deep Structured Semantic Models for Web Search Using Clickthrough Data (CIKM ’13). Association for Computing Machinery, New York, NY, USA, 2333–2338.
  • [6] Yue Shi, Martha Larson, and Alan Hanjalic. 2014. Collaborative Filtering beyond the User-Item Matrix: A Survey of the State of the Art and Future Challenges. ACM Comput. Surv. 47, 1, Article 3 (may 2014), 45 pages.
  • [7] Jiaqi Ma, Zhe Zhao, Xinyang Yi, Jilin Chen, Lichan Hong, and Ed H Chi. 2018. Modeling task relationships in multi-task learning with multi-gate mixture-of-experts. In Proceedings of the 24th ACM SIGKDD international conference on knowledge discovery & data mining. 1930–1939.
  • [8] 美團外賣推薦情境化智慧流量分發的實踐與探索.
  • [9] Zhou G, Zhu X, Song C, et al. Deep interest network for click-through rate prediction[C]//Proceedings of the 24th ACM SIGKDD international conference on knowledge discovery & data mining. 2018: 1059-1068.

閱讀更多技術文章

| 在美團公眾號選單欄對話方塊回覆【2022年貨】、【2021年貨】、【2020年貨】、【2019年貨】、【2018年貨】、【2017年貨】等關鍵詞,可檢視美團技術團隊歷年技術文章合集。

| 本文系美團技術團隊出品,著作權歸屬美團。歡迎出於分享和交流等非商業目的轉載或使用本文內容,敬請註明“內容轉載自美團技術團隊”。本文未經許可,不得進行商業性轉載或者使用。任何商用行為,請傳送郵件至tech@meituan.com申請授權。

相關文章