在LBS（Location Based Services, 基於位置的服務）距離約束下，候選較少制約了整個到店廣告排序系統的潛力空間。本文介紹了我們從候選型別角度進行候選擴充套件，通過高效能的異構混排網路來應對效能的挑戰，從而提升了本地生活場景排序系統的潛能上限。希望能給從事相關方向的同學以啟發。
1 背景與簡介
1.1 背景
美團到店廣告負責美團搜尋流量的商業變現，服務於到店餐飲、休娛親子、麗人醫美、酒店旅遊等眾多本地生活服務商家。質量預估團隊負責廣告系統中CTR/CVR以及客單價/交易額等質量分預估，在過去幾年中，我們通過位次上下文建模[1]、時空超長序列建模[2]等創新技術，在CTR預估問題中的使用者、上下文等方向都取得了一些突破[3]，並整理成論文發表在SIGIR、ICDE、CIKM等國際會議上。
不過以上論文重在模型精度，而模型精度與廣告候選共同決定著排序系統的質量。但在廣告候選角度，相比於傳統電商的候選集合，美團搜尋廣告因LBS（Location Based Services, 基於位置的服務）的限制，所以在某些類目上門店候選較少，而候選較少又嚴重製約了整個排序系統的潛力空間。當用傳統方式來增加候選數量的方法無法取得收益時，我們考慮將廣告候選進行擴充套件與優化，以期提升本地生活場景排序系統的潛能上限。
1.2 場景介紹
單一的門店廣告不足以滿足使用者找商品、找服務的細粒度意圖訴求。部分場景將商品廣告作為門店廣告的候選補充，兩者以競爭方式來確定展示廣告樣式；此外，還有部分場景商品廣告以下掛形式同門店廣告進行組合展示。多種形式的異構廣告展示樣式，給到店廣告技術團隊帶來了機遇與挑戰，我們根據業務場景特點，針對性地對異構廣告進行了混排優化。下文以美團結婚頻道頁和美團首頁搜尋為例，分別介紹兩類典型異構混排廣告：競爭關係異構廣告和組合關係異構廣告。
- 競爭關係異構廣告：門店和商品兩種型別廣告競爭混排，通過比較混排模型中pCTR確定廣告展示型別。如下圖1所示，左列首位為門店型別廣告勝出，展示內容為門店圖片、門店標題和門店星級評論數；右列首位為商品型別廣告勝出，展示內容為商品圖片、商品標題和對應門店。廣告系統決定廣告的排列順序和展示型別，當商品型別廣告獲勝時，系統確定展示的具體商品。
- 組合關係異構廣告：門店廣告和其商品廣告組合為一個展示單元（藍色框體）進行列表排序，商品從屬於門店，兩種型別異構廣告組合混排展示。如下圖2所示，門店廣告展示門店的頭圖、標題價格等資訊；兩個商品廣告展示商品價格、標題和銷量等資訊。廣告系統確定展示單元的排列順序，並在門店的商品集合中確定展示的Top2商品。
1.3 挑戰與做法簡介
目前，搜尋廣告模型線上為基於DNN（深度神經網路）[4-6]的門店粒度排序模型，門店候選數量受限（約150）且缺失商品等更直接且重要的決策資訊。因此，我們將商品廣告作為門店的候選補充，通過門店與門店下多商品的混排開啟候選空間，候選量可以達到1500+。此外，考慮廣告上下文影響，同時進一步擴充套件打分候選以提升排序上限，我們將門店粒度升級為異構廣告組合粒度的排序，基於此構建生成式廣告組合預估系統，候選極限達到了1500X（考慮線上效能我們最終選擇1500X)。而在探索過程中，我們遇到了以下三大挑戰：
- 商品粒度預估效能壓力：下沉到商品粒度後增加至少10倍的候選量，造成線上預估服務無法承受的耗時增加。
- 組合間關係建模困難：門店同組合商品的上下文關係使用Pointwise-Loss建模難以刻畫。
- 商品廣告冷啟動問題：僅使用經過模型選擇後曝光的候選，容易形成馬太效應。
針對上述挑戰，技術團隊經過思考與實踐，分別進行如下針對性的優化：
- 高效能異構混排系統：通過bias網路對門店資訊遷移學習，從而實現高效能商品粒度預估。
- 生成式廣告組合預估系統：將商品預估流程升級為列表組合預估，並提出上下文聯合模型，建模商品上下文資訊。
- 異構廣告冷啟動優化：基於湯姆森取樣演算法進行E&E（Exploit&Explore, 探索與利用）優化，深度探索使用者的興趣。
目前，高效能異構混排和生成式廣告組合預估已經在多個廣告場景落地，視場景業務不同，在衡量廣告營收的千次廣告展示收益(RPM，Revenue Per Mille)指標上提升了4%~15%。異構廣告冷啟動優化在各業務生效，在精度不下降的前提下給予流量10%隨機性。下文將會對我們的具體做法進行詳細的介紹。
2 技術探索與實踐
2.1 高效能異構混排系統
打分粒度從門店下沉為商品後，排序候選量從150增加到1500+，帶來排序潛力提升的同時，如果使用門店模型直接進行商品預估，則會給線上帶來無法承擔的耗時增加。通過分析，我們發現門店下所有商品共享門店基礎特徵，佔用了80%以上的網路計算，但對於多個商品只需要計算一次，而商品獨有的、需要獨立計算的商品特徵只佔用20%的網路計算。所以基於這個特性，我們參照組合預估[7]的做法，來實現異構混排網路。主網路的高複雜性門店表徵通過共有表達的遷移學習，實現對門店網路輸出層的複用，從而避免在進行商品預估時對門店網路的重複計算。
如下圖4所示，整個網路分為門店網路和商品網路。在離線訓練階段，門店網路（主網路）以門店特徵作為輸入，得到門店的輸出層，計算門店Loss，更新門店網路；商品網路（bias網路）以商品特徵為輸入，得到商品輸出層，與門店網路的輸出層門店向量作CONCAT操作，然後計算最終的商品Loss，並同時更新門店網路和商品網路。
為了實現線上預估時對門店網路輸出層的複用，我們將商品以List的方式喂入模型，實現請求一次打分服務，獲得1(門店)+n（商品）個預估值。另外，對於門店的商品數不固定這一問題，我們通過維度動態轉換的方式保證維度對齊。實現保持網路規模情況下擴大了10倍打分量，同時請求耗時僅增加了1%。
通過異構混排網路，我們在效能約束下得到了門店和各個商品的預估值，但是由於廣告出口仍然以門店作為單元進行計費排序，所以我們需要根據不同業務場景特點進行預估值應用。為了描述方便，下文中用“P門店”代表門店的預估值，“P商品_i”代表第i個商品的預估值。
篩選頻道頁的競爭關係異構廣告
- 篩選頻道頁內有門店和商品兩種展示型別進行競爭，獲勝的廣告型別將最終得到展示。訓練階段，每一次曝光為一條樣本，一條樣本為商品和門店其中一種型別。門店樣本只更新門店網路，商品樣本同時更新門店網路和商品網路。
- 預估階段，門店和商品發生點選概率互斥，我們使用Max運算元：通過Max(P門店 ,P商品_1 ,...,P商品_n )，如果門店獲勝，則展示門店資訊，門店的預估值用於下游計費排序；如果任一商品獲勝，則展示該商品資訊，該商品的預估值用於下游。
首頁搜尋的組合關係異構廣告
- 首頁搜尋的排序列表頁中每個展示單元由門店和兩個商品組成，機制模組對這一個展示單元進行計費排序。訓練階段，每一次曝光為多條樣本：一條門店樣本和多條商品樣本。門店樣本只更新門店網路，商品樣本同時更新門店網路和商品網路。
- 預估階段，由於使用者點選【更多優惠】前，預設展示Top2商品，所以可以選擇商品預估值最高的Top2作為展示商品，其餘商品按預估值排序。我們需要預估pCTR(門店|商品1|商品2) 。從數學角度分析，我們在預估門店或商品1或商品2被點選的概率，因此我們使用概率加法法則運算元：pCTR(門店|商品1|商品2) = 1 - (1-P門店 ) (1-P商品_1 ) (1-P商品_2）。所以在得到門店和商品預估值之後，首先要對商品按預估值進行排序，得到商品商品的展示順序，並選擇Top2的商品預估值和門店預估值進行概率加法法則計算，得到展示單元的預估值用於門店排序計費。
雖然系統整體架構相似，但是因使用場景不同，樣本生成方式也不同，模型最終輸出的P商品有著不同的物理含義。在競爭關係廣告中，P商品作為和門店並列的另一種展示型別；組合關係廣告中，P商品則為門店廣告展示資訊的補充，因此也有著不同預估值的應用方式。最終高效能異構混排系統在多個廣告場景落地，視場景業務不同，RPM提升範圍在2%~15%之間。
2.2 生成式廣告組合預估系統
在商品列表中，商品的點選率除了受到其本身質量的影響外，還會受到其上下展示商品的影響。例如，當商品的上下文質量更高時，使用者更傾向於點選商品的上下文，而當商品上下文質量較低時，使用者則傾向於點選該商品，這種決策差異會累積到訓練資料中，從而形成上下文偏置。而消除訓練資料中存在的上下文偏置，有利於更好地定位使用者意圖以及維護廣告系統的生態，因此我們參照列表排序的思路[8-9]，構建生成式商品排序系統，建模商品上下文資訊。
獲取上下文訊號可以通過預估商品列表的全排列，但是全排列的打分量極大（商品候選數10的全排列打分數為10!=21,772,800）。為了在耗時允許的情況下獲取上下文訊號，我們採用二次預估的方式對全排列結果進行剪枝。首次預估時採用Base模型打分，僅取Top N商品進行排列，二次預估時再利用上下文模型對排列的所有結果進行打分。將全排列的打分量從10!減少到N!（線上上，我們選擇的N為3）。
但是二次預估會給服務帶來無法承受的RPC耗時，為了在效能的約束下上線，我們在TensorFlow內部實現了二次預估模組。如下圖5所示，我們最終實現了基於剪枝的高效能組合預估系統，整體耗時和基線持平。
通過剪枝和TF運算元，任一商品輸入可以感知其上下文訊號。為了建模上下文資訊，我們提出基於Transformer的上下文自適應感知模型。模型結構如圖6所示：
- 我們首先將門店特徵及商品特徵分別過Embedding層得到門店Emb及商品Emb，再通過全連結層得到無位次商品向量和無位次的預估值；
- 將無位次商品向量與商品位次訊號進行拼接，通過Transformer建模商品的上下文資訊，得到包含上下文資訊的商品Emb；
- 將包含上下文資訊的商品Emb與位次訊號再次拼接，通過DNN非線性交叉，得到包含上下文資訊及位次資訊的最終輸出商品預估值。通過強化商品間的交叉，達到建模商品上下文的目的，最終生成式廣告組合預估在首頁搜尋取得了RPM+2%的效果提升。
2.3 異構廣告冷啟動優化
為了避免馬太效應，我們也會主動試探使用者新的興趣點，主動推薦新的商品來發掘有潛力的優質商品。我們在模型上線前，通過隨機展示的方式來挖掘使用者感興趣的商品。但是給使用者展示的機會是有限的，展示使用者歷史喜歡的商品，以及探索使用者新興趣都會佔用寶貴的展示機會，此外，完全的隨機展示從CTR/PRS等效果上看會有較為明顯的下降，所以我們考慮通過更合理的方式來解決“探索與利用”問題。
相對於傳統隨機展示的E&E演算法，我們採用基於湯普森取樣的Exploration演算法[10]，這樣可以合理地控制精度損失，避免因部分流量進行Exploration分桶的bias問題。湯普森取樣是一種經典啟發式E&E演算法，核心思路可以概況為，給歷史曝光數（HI，Historical Impressions）較多的商品較低的隨機性，歷史曝光較少的商品給予較高的隨機性。具體的做法是我們使商品的預估值（pCTR）服從一個beta(a,b)分佈，其中：
$${\frac{{a}}{{a+b}}=p} ，a + b = n $$
其中p是以pCTR為自變數的函式，n是以EI為自變數的函式。根據經驗，我們最終使用的函式為：
$${n=hyperN*\text{(}log\mathop{{}}\nolimits_{{10}}\text{(}HI+10\text{))}\mathop{{}}\nolimits^{{2}}} ，p = hyperP * pCTR$$
我們通過調節hyperP和hyperN兩個引數來控制最終呈現結果的隨機性。如下圖7所示，action1相比action2分佈的均值更高，action3相比另外兩個分佈的隨機性更強。較高的隨機性可能會帶來準確性的下降，我們通過引數離線模擬，確定全量版本的超引數。最終上線的模型在精度和效果沒有下降的前提下，展示的商品有10%的隨機性。
2.4 業務實踐
異構混排和廣告組合預估有效地解決了LBS限制下門店候選較少的問題。對於前文介紹的兩類典型異構廣告：競爭關係異構廣告和組合關係異構廣告，我們根據其展示樣式和業務特點，將相應的技術探索均進行了落地，並取得了一定的效果。如下圖8所示：
3 總結
本文介紹了美團到店搜尋廣告業務中異構廣告混排的探索與實踐，我們通過高效能的異構混排網路來應對效能挑戰，並根據業務特點對異構預估進行了應用。為了建模廣告的上下文資訊，我們將商品預估流程由單點預估升級為組合預估模式，並提出上下文組合預估模型，建模商品位次及上下文資訊，然後，通過基於湯普森演算法的E&E策略對商品冷啟動問題進行了優化，在多個場景均取得了一定的成果。近期，已經有越來越多業務場景開始了展示樣式的升級，例如美食類目由門店調整為菜品廣告，酒店類目由門店調整為房型展示，本文提到的方案與技術也在逐步的推廣落地過程中。
值得一提的是，相比於美團以門店作為廣告主體，業界的廣告主體以商品和內容為主，本文提到的共有表達遷移和生成式組合預估的技巧，可以應用在商品和創意的組合問題上，更進一步擴充候選規模。
廣告異構混排專案也是從業務視角出發，勇於打破原來迭代框架下的一次重要嘗試。我們希望該專案能夠通過技術手段來解決業務問題，然後再通過業務理解反推技術的進步。此外，我們也將在廣告候選問題上進行更多的探索，尋找新的突破點，從而進一步設計更完善的網路結構，不斷釋放排序系統的潛力空間。
4 參考資料
- [1] Huang, Jianqiang, et al. "Deep Position-wise Interaction Network for CTR Prediction." Proceedings of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval. 2021.
- [2] Qi, Yi, et al. "Trilateral Spatiotemporal Attention Network for User Behavior Modeling in Location-based Search." Proceedings of the 30th ACM International Conference on Information & Knowledge Management. 2021.
- [3] 胡可，堅強等. 廣告深度預估技術在美團到店場景下的突破與暢想
- [4] Cheng, Heng-Tze, et al. "Wide & deep learning for recommender systems." Proceedings of the 1st workshop on deep learning for recommender systems. 2016.
- [5] Zhou, Guorui, et al. "Deep interest network for click-through rate prediction." Proceedings of the 24th ACM SIGKDD international conference on knowledge discovery & data mining. 2018.
- [6] Ma, Jiaqi, et al. "Modeling task relationships in multi-task learning with multi-gate mixture-of-experts." Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2018.
- [7] Gong, Yu, et al. "Exact-k recommendation via maximal clique optimization." Proceedings of the 25th ACM SIGKDD international conference on knowledge discovery & data mining. 2019.
- [8] Guo, Huifeng, et al. "PAL: a position-bias aware learning framework for CTR prediction in live recommender systems." Proceedings of the 13th ACM Conference on Recommender Systems. 2019.
- [9] Feng, Yufei, et al. "Revisit Recommender System in the Permutation Prospective." arXiv preprint arXiv:2102.12057 (2021).
- [10] Ikonomovska, Elena, Sina Jafarpour, and Ali Dasdan. "Real-time bid prediction using thompson sampling-based expert selection." Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2015.
招聘資訊
美團到店事業群廣告平臺演算法團隊全面負責所有到店相關業務的廣告演算法優化，在保證使用者體驗和廣告商戶ROI的前提下，持續提升商業流量的變現效率。主要技術方向包括觸發策略、質量預估、機制設計、創意生成、創意優選、反作弊、商家策略等。團隊的技術氛圍濃厚，通過對前沿技術不斷突破，以驅動業務持續發展。團隊視人才培養，具備完善成熟的培養機制，幫助大家快速成長。
崗位要求
- 兩年以上相關工作經驗，熟悉常見機器學習原理和深度學習模型，具備CTR/CVR/NLP/CV/RL等模型實踐經驗。
- 具備優秀的分析問題和解決問題的能力，保持對新事物的學習能力和好奇心，對解決挑戰性問題充滿激情。
- 具備良好的程式設計能力，紮實的資料結構和演算法基礎，熟悉Python/Java/Scala/C++兩種或以上語言。
- 計算機、自動化、電子資訊、數學或相關專業本科及以上學歷。
具備以下條件優先
- 網際網路廣告/搜尋/推薦某一領域相關工作經驗。
感興趣的同學可投遞簡歷至：chengxiuying@meituan.com（郵件標題請註明：廣平演算法團隊）。
閱讀美團技術團隊更多技術文章合集
前端 | 演算法 | 後端 | 資料 | 安全 | 運維 | iOS | Android | 測試
| 在公眾號選單欄對話方塊回覆【2021年貨】、【2020年貨】、【2019年貨】、【2018年貨】、【2017年貨】等關鍵詞，可檢視美團技術團隊歷年技術文章合集。
| 本文系美團技術團隊出品，著作權歸屬美團。歡迎出於分享和交流等非商業目的轉載或使用本文內容，敬請註明“內容轉載自美團技術團隊”。本文未經許可，不得進行商業性轉載或者使用。任何商用行為，請傳送郵件至tech@meituan.com申請授權。