本文結合阿里電商業務場景的特點，介紹了阿里在匹配端和排序端的基於深度學習的一些工作。
搜尋營銷（sponsored search）是目前廣告主在網際網路上進行數字化營銷的主要手段之一，也是機器學習技術在工業界最成功的應用場景之一。在搜尋營銷的場景下，廣告主可以通過出價的方式參與流量分配，平臺的主要任務是優化流量分配和計價，實現效率的最大化和生態的健康發展。其中核心的技術問題主要圍繞如何高效的分配流量來展開，包括：如何理解使用者的意圖？如何對使用者進行表達？如何對廣告進行表達？如何挖掘使用者和廣告的關係？如何對使用者的行為進行預估？如何對流量進行定價等等。
近年來機器學習技術在搜尋，推薦，營銷等領域得到了廣泛的應用。阿里媽媽搜尋營銷團隊也一直致力於探索前沿技術和具體業務場景的深度融合，推動業務的發展。圍繞以上的技術問題給出結合自身業務特點的解法。具體說來，流量分配的過程通常分為流量匹配階段和排序階段：
流量匹配階段的主要任務是理解使用者意圖，在超大規模的全量集合中找到合適的候選集進行粗排，降低後續排序階段的計算量；
排序階段解決的主要問題則是對使用者的深度理解，對使用者行為進行精準的預估。
下面我們將從這兩個階段的實際問題出發，介紹我們的一些工作。
1 智慧匹配
1.1 基於使用者行為異構圖的個性化檢索框架
在搜尋營銷中，匹配端負責理解使用者的搜尋意圖，需要快速準確地從海量廣告中檢索出一個小規模的高質量廣告候選集，設計過程中需要兼顧系統的效果與效率。匹配系統又可以被看作為一個檢索系統。在個性化時代，隨著越來越多的個性化資訊（使用者在平臺上的查詢、瀏覽、點選、收藏、加購等行為）被引入系統，傳統的基於搜尋詞和廣告相關性的檢索方法無法識別使用者個性化的搜尋意圖。此外，基於相關性的優化目標和平臺的目標（RPM、CTR、GMV 等）並不完全一致。
為了解決這些問題，我們突破了以「關鍵詞」和「相關性」為核心的傳統檢索框架，提出了一種面向最終目標，基於使用者行為異構圖的個性化檢索框架。
圖 1. 基於使用者行為異構圖的個性化意圖匹配。異構圖中包含了三種節點：使用者個性化的搜尋意圖訊號、豐富的廣告檢索鍵和廣告。
在這個新的智慧檢索系統中，我們首先使用使用者在平臺上的歷史行為構建出一張使用者行為異構圖。異構圖中節點分別表示「使用者搜尋訊號」、「廣告檢索鍵」和「廣告」，邊分別表示「使用者搜尋意圖訊號改寫」關係和「廣告召回」關係。接著，檢索系統面向平臺 RPM、CTR 等指標，學習異構圖中邊的權重，挖掘出重要的改寫關係和廣告召回關係。這樣，通過對異構圖的深入挖掘，檢索系統直接面向平臺目標，同時進行了「使用者搜尋意圖訊號改寫」和「廣告召回」兩個檢索子任務的統一聯合學習。最後，檢索系統根據模型的邊挖掘結果，智慧地自動構建相應的「改寫索引」和「廣告召回索引」。
通過兩個模型智慧構建的索引，檢索系統將使用者行為異構圖和模型挖掘結果儲存下來，實現了對線上搜尋請求的高效檢索。由於新的智慧檢索模型不再強制要求廣告商購買關鍵詞，我們在新的檢索系統使用 OCPC 策略，在保證廣告商 ROI 的基礎上，決定廣告的點選收費。
關於此工作的論文《Beyond Keywords and Relevance: A Personalized Ad Retrieval Framework in E-Commerce Sponsored Search》已被 WWW2018 接收。
1.2 基於大規模異構網路 Embedding 的向量化檢索模型
圖 2. a) 使用全淘資料構建大規模異構網路；b) 通過深度學習技術對圖中節點進行 Embedding；c) 根據使用者搜尋意圖節點和廣告節點的 Embedding 向量距離，使用 ANN 搜尋進行匹配。
然而，基於上述方法的廣告檢索框架，依然是一種「硬」檢索方式，索引關係受限制於使用者行為的分佈，面臨著長尾流量覆蓋不足等問題，另外淺層線性模型也限制了檢索的精度。因此，我們進一步提出基於大規模網路 Embedding 的向量化檢索模型。
通過 Graph Embedding、深度學習等技術，向量化檢索模型可以得到使用者搜尋意圖和廣告在同一空間的深度向量表示，進而通過向量之間的距離進行全域性檢索，即提升了計算精度，又可解決長尾流量覆蓋的問題。我們使用全淘資料構建超大規模異構網路（數億節點和數百億邊），網路中包含多種型別的節點（如搜尋詞、商品、廣告等）和多種型別的邊（如使用者行為、廣告主行為、內容相似度等）。
這使得我們面臨兩方面的巨大挑戰：一是巨大的網路規模產生海量的訓練樣本，二是如何構造模型來學習異構節點的複雜關係。為此，我們提出了一種創新的大規模異構網路 Embedding 演算法和基於圖資料庫的分散式訓練方法。
相關工作已經形成論文，正在投稿中，後續會公開出來。
1.3 聯合優化的向量化檢索模型和深度粗排模型
圖 3 聯合優化的向量化檢索模型和深度粗排模型
在搜尋營銷的場景中，存在著多種檢索通道，比如傳統的關鍵詞檢索、上文提到的個性化檢索和向量化檢索；而整個匹配階段是個多階段檢索過程，在這些檢索通道之後還需要經過一個粗排序階段。
在工業屆中，在精排序階段應用深度學習模型，已經有比較成熟的方案。然而在粗排階段應用深度學習模型，並沒有很好的解決方案，因為在粗排階段需要處理的候選集規模比精排階段高 1 到 2 個數量級，深度學習模型在這裡會面臨很大的挑戰，需要很好的平衡 Efficiency 和 Effectiveness。
針對這個問題，我們創新的提出了一種聯合優化向量化檢索模型和粗排模型的方法。該方法通過 Multi-task Learning 的方式端到端的學出兩個模型。在向量化檢索模型中，特徵上除了上文提到的 Graph Learning 出來的向量，還加入了影象向量等，行為序列上採用 RNN 建模；粗排模型和向量檢索模型公共特徵和大部分網路結構，只在最後一層有一些區別，這樣在線上 Inference 階段可以節省大量計算。
相關工作已經形成論文，正在投稿中，後續會公開出來。
2 智慧排序
排序階段要解決的主要問題是對使用者的行為進行精準預估。近年來，深度學習方法在影象、NLP、語音訊號處理等領域取得了顯著的發展。在推薦、搜尋領域也有很多的工作出現。例如 wide&deep[1] 結構對 id 特徵和連續特徵進行融合，同時兼顧模型的記憶能力和泛化能力；fnn[2]，deepfm[3] 等對稀疏特徵的組合關係進行自動學習等等。
在阿里的搜尋營銷系統中，我們也對深度學習進行了探索，結合自身的業務特點，提供了一套解決方案。在阿里這樣一個電商的場景中，一個主要的特點是以影象為主要的資訊載體，商品／廣告的內容包括影象，文字描述等等。使用者在平臺的行為是一個逛街的過程，使用者進行搜尋、瀏覽、對平臺展現的商品進行比對，決定是否點選，然後對喜愛的商品進行收藏、購買。使用者的行為之間存在比較強的內在關聯。使用者在當前時刻的點選意願，既與當前時刻的使用者看到的資訊有關，又與這個使用者的前置行為密切相關。因此，對於使用者的行為預估，一方面需要對使用者當前看到的內容有很好的表達，另一方面也需要去發掘使用者的一系列行為之間的內在聯絡。
在對使用者的行為進行建模的過程中，我們借鑑了大腦對資訊的感知過程去模擬。整個模型分為感知網路，記憶網路和判斷網路三個部分（圖 4）。感知網路對當前的輸入資訊進行表達學習，對當前的 query、ad、user，上下文場景資訊進行特徵表達學習；記憶網路用來儲存使用者的歷史行為，使用外部儲存來記錄與當前樣本相關的歷史資訊；判斷網路用來學習使用者的歷史行為和當前感知內容之間的關係，基於使用者的感知內容和歷史行為對使用者當下的行為進行預估。
圖 4 基於深度學習的使用者行為預估優化結構圖
2.1 感知網路
感知網路的作用是對<User, Query, Context, Ad>這樣的四元組進行特徵表達學習。樣本的原始資訊中包含了大量的非結構化資料，都在感知網路中轉化為合適的表達形式。感知網路提供了多種感知通路，對當前樣本的原始資訊（連續變數、離散值變數等）進行預處理和 Embedding 操作，形成激勵訊號。通過 Embedding 模組，把離散值變數對映成固定長度的連續值向量，便於和其他的連續特徵進行融合。Embedding 的過程類似於 word2vec 的對映過程。Embedding 向量可以區分原始資訊的差異，向量的夾角和距離也能刻畫原始資訊的相似程度。
2.2 記憶網路
記憶網路的作用是儲存使用者的歷史行為。記憶網路包括三部分內容：記憶如何儲存、記憶如何查詢和記憶如何更新。
在電商環境中，使用者的行為不僅受到短期行為的影響，一些長期行為（比如使用者在上一季度的點選購買行為）也會對當前的行為預估起到指導作用。因此，我們在記憶網路中設計了長期記憶和短期記憶兩種記憶儲存型別，分別採用不同的資訊壓縮方式。
對短期記憶保留更多的使用者原始行為，對長期記憶進行壓縮，保留使用者的累積狀態。在記憶查詢模組，通過多種型別的記憶體讀（Memory Read）操作，使用當前激勵資訊在歷史記憶內容中查詢相關的資訊計算輸出記憶結果。在記憶更新模組，在當前樣本進行展示之後，呼叫不同的記憶體寫模組（Memory Writer）把激勵訊號、點選標籤和記憶查詢結果更新到外部儲存中，用於後續的行為預測。
2.3 判斷網路
判斷網路的作用是學習使用者的歷史行為和當前感知內容之間的關係，並且基於使用者的感知內容和歷史行為對使用者當下的行為進行預估。判斷網路由兩部分組成。第一部分是訊號融合模組，把記憶網路的輸出資訊和感知網路輸出的當前樣本激勵訊號進行融合，融合的方式可以採用拼接，內積或是各種 pooling 的方式，在我們的網路中，我們採用了拼接的方式來進行融合。第二部分是深度神經網路，目前使用多層的全連線網路對拼接訊號進行處理。
相關工作已經形成論文，正在投稿中，後續會公開出來。
總結
在本文中，我們結合阿里電商業務場景的特點，介紹了我們在匹配端和排序端的基於深度學習的一些工作。包括面向平臺最終目標的個性化檢索框架，聯合優化向量化檢索模型和粗排模型，以及基於深度學習的使用者行為預估模型。這些工作給我們的系統中帶來了很大的效果提升。目前這些工作有了一個很好的開端，後續會基於目前的框架對各個模組做進一步的優化。
參考文獻
[1] Heng-Tze Cheng and Levent Koc. 2016. Wide & deep learning for recommender systems. In Proceedings of the ACM 1st Workshop on Deep Learning for Recommender Systems. 7-10.
[2] W Zhang, T Du and J Wang, Deep Learning over Multi-field Categorical Data: A Case Study on User Response Prediction. In Proceedings of European Conference on Information Retrieval, 2016.
[3] Huifeng Guo, Ruiming Tang, Yunming Ye, Zhenguo Li, and Xiuqiang He. Deepfm: A factorization-machine based neural network for ctr prediction. In Proceedings of International Joint Conference on Artificial Intelligence, 2017.
作者簡介
劉凱鵬（花名：治平）博士，現任阿里媽媽搜尋廣告演算法負責人，阿里巴巴資深演算法專家／技術總監。2011 年加入阿里媽媽事業部，主導並建立了阿里巴巴搜尋廣告的演算法引擎，包括廣告觸發模型，使用者點選率和轉化率預估模型以及拍賣機制優化，推動了搜尋廣告引擎從非個性化時代進化到個性化時代，並將深度學習技術在淘寶場景進行了深度的應用，驅動了高效的智慧營銷引擎的不斷進步。劉凱鵬博士於 2004，2007 和 2011 年相繼在哈爾濱工業大學獲得學士、碩士和博士學位，在國際知名學術會議和期刊上發表了超過 10 篇論文。
IJCAI 2018 阿里媽媽國際廣告演算法大賽於 2018 年 2 月正式啟動，獲獎隊伍將有機會前往斯德哥爾摩參加 IJCAI 2018。
報名連結：https://tianchi.aliyun.com/markets/tianchi/ijcai2018?spm=a2c41.11300464.0.0
