深度學習在小米電商業務的應用實踐

深度學習在小米電商業務的應用實踐

隨著深度神經網路技術的不斷進步，越來越多的基於深度學習的文字、影像表示和排序模型等方法，在電商領域被廣泛採用，併產生卓越的效果。小米系的電商業務近些年取得突飛猛進的發展，使用者規模和品類持續增加，傳統的機器學習在特定領域已不再適用，本文詳細介紹了小米大資料應用深度學習等技術，在小米有品的搜尋、推薦和評價等場景的落地。

--精細化語義搜尋--

不同於字面搜尋，語義搜尋的目的是精確理解使用者查詢意圖，並按相關性和重要性兩個維度，返回最符合預期的商品，所以電商場景的語義搜尋，包含兩個階段，查詢理解和排序模型。本節重點講述查詢理解的成分識別和排序模型的向量召回。

在電商搜尋場景下，針對使用者查詢，搜尋引擎首先要做的就是理解使用者的查詢需求，才能匹配到合適的商品。不同於使用者在百度等通用搜尋引擎輸入的查詢，電商搜尋的查詢會包含不同型別的成分，比如商品品牌、商品名、修飾詞（工藝、材質、適用人群和季節等）。電商查詢詞成分識別的目的就是識別出包含的品牌詞、商品詞、修飾詞等。

為了解決這個問題，最直接的做法是使用品牌字典、商品名字典、修飾詞字典去進行規則匹配。這種做法前期可以快速解決特定場景，但存在很多問題：1）通過字典匹配，字典未包含的成分，難以識別；2）如果查詢中一個詞匹配到多個成分，涉及到同義消歧。所以我們嘗試基於模型的方法，常用的經典模型包括HMM和CRF，以及深度學習方法Bi-LSTM等。具體是採用Bi-LSTM+CRF模型，相比於Bi-LSTM模型，引入了輸出label的相互依賴關係；相比於HMM和CRF，引入了查詢詞上下文的相互依賴關係。在基於單字的Bi-LSTM+CRF方法中，為了引入語義資訊，同時對單字做了向量化表示，模型結構如圖Fig 1：

Fig 1. 基於Bi-LSTM+CRF的成分識別

其中，第一層是輸入查詢的每個中文單字，第二層是中文單字的向量表示，第三層是Bi-LSTM，第四層是Bi-LSTM的正反向拼接，最後一層是CRF，基於拼接向量進行成分識別和預測。

資料格式採用BIO，B-Brand表示品牌的開始字，I-Brand表示品牌的中間字，B-Good表示商品的開始字，I-Good表示商品的中間字，O表示不屬於任何一個成分。成分識別的目的就是對查詢的每個字預測B/I/O標籤。實驗中，我們共標註了10萬條歷史查詢詞。使用80%的資料訓練，剩下20%測試，評估指標包含：1）查詢整體的BIO標籤正確率(Accuracy)（每個字的標籤都正確，則正確，否則錯誤）；2）每種成分的準確率(Precision)、召回率(Recall)和F1-score，離線模型訓練的整體正確率(Accuracy)為85%+，每種成分的指標如表Tab 1。

Tab 1. 查詢詞成分識別效果

電商搜尋場景下，查詢成分識別可以應用在召回和排序階段。召回階段通過識別出具體成分，進一步判斷查詢的意圖，比如：品牌類查詢，還是品牌詞+商品詞的查詢。從而在召回的時候使用不同的策略。排序階段，對於品牌類查詢，可以在排序階段予以加權處理。

電商搜尋任務中，怎麼準確的召回候選商品一直是非常重要的問題。由於查詢和商品之間的語義鴻溝，從純文字角度進行召回，會漏掉字面不相似但語義相關的商品，導致欠召回，為了解決此類問題，一種方案是，對查詢改寫，標籤化等，另一種方案是用深度模型把查詢和商品向量化，發現隱空間中的語義相似性。隨著近些年深度模型在文字嵌入和表示的應用，基於向量空間的語義匹配模型( DSSM)在搜尋的任務上取得不錯的效果，並有很多工作的擴充套件，我們借鑑了一些論文的想法，結合實際場景設計如下神經網路結構 Fig 2

Fig 2. 向量語義匹配召回DSSM架構

獲取大規模的高質量訓練資料，一直是深度模型比較重要的問題。我們通過對<query，product>對的CTR進行過濾，得到正負訓練樣本，並在負樣本中去掉商品的搜尋詞命中查詢的資料。 

線上用的DeepLearning4j預測查詢詞的向量，用FAISS框架實時檢索。線上實時點選率提升約1%，尤其對中長尾詞的點選提升較大。後續會增加圖片等多模態資訊，網路結構上會嘗試注意力(Attention)機制。

--首頁個性化推薦--

電商推薦本質上需要完成從全量商品庫高效檢索相關的Top-K商品，由於候選商品數量過於龐大，現在的推薦系統一般分為兩個階段：召回排序和精準排序。對於召回階段，面臨著從全量商品庫，高效召回商品的問題，由於存在系統效能問題，需要重點去解決兩個關鍵階段：1、怎麼高效檢索，即算的快。高效檢索意味著需要設計合理的檢索結構和檢索策略，能夠在一個系統可容納的時間內來保證可以召回足夠多的商品。2、整個召回的過程雖然算得快，但是不能算偏，還要把使用者真正感興趣的商品召回，就是所謂的算的準。

TDM(Tree-based Deep Match)是為大規模推薦系統設計的，能夠承載任意先進模型來高效檢索使用者興趣的推薦演算法解決方案。TDM基於樹結構，提出了一套對使用者興趣度量進行層次化建模與檢索的方法，使得系統能直接利用深度學習模型在全量資料上檢索使用者興趣。其基本原理是使用樹結構對全量專案(item)進行索引，然後訓練深度模型以支援樹上的逐層檢索，從而將大規模推薦中全量資料檢索的複雜度由O(n)（n為所有專案的量級）下降至O(log n)。可以利用DIN（這裡可以是任何先進的模型）承擔使用者興趣判別器的角色，輸入就是每層構造的正負樣本，輸出的是<使用者，節點>對的興趣度，將被用於檢索過程作為尋找每層Top-K的評判指標。如圖：在使用者特徵方面僅使用使用者歷史行為，並對歷史行為根據其發生時間，進行了視窗劃分。在節點特徵方面，使用的是節點經過嵌入(Embedding)後的向量作為輸入。此外，模型藉助注意力機制(Attention)，將使用者行為中和本次判別相關的那部分篩選出來，以實現更精準的判別，模型結構圖 Fig 3：

Fig 3. TDM模型架構圖

線上對比baseline模型，item2vec和Youtube Net，均有非常顯著的提升，詳見Tab 2.

Tab 2. TDM模型線上對比

--評價標籤和排序--

評論觀點抽取的主要任務是從評論中將使用者的觀點抽取出來，彙整合簡短有效的資訊，體現核心維度和賣點資訊，輔助使用者快速篩選，指導購物行為。同時，這些資訊反映出來的使用者觀點可以幫助商家進行產品優化、輿情分析，升級營銷策略等。演算法自動抽取的語義標籤自動和商品關聯，目前自動個抽取出的標籤能夠覆蓋20+一級類目，150+三級類目，類目下商品標籤覆蓋率80%+。線上效果圖 Fig 4：

Fig 4. 有品評價標籤效果

評論觀點抽取主要分為評論標籤抽取和細粒度情感分析兩部分

評論標籤抽取指從使用者評論中自動抽取語義標籤，標籤由一般由屬性詞+描述詞或者描述詞本身組成，所以需要從評論中抽取出屬性詞以及描述詞，例如，“做工精細”中“做工”就是屬性詞，“精細”就是描述詞。我們標註了約1.5w條評論資料，標註出了評論中的屬性詞、描述詞以及標籤的情感傾向（即正向、中性和負向）。

模型方面，我們使用了BERT+CRF的序列標註模型。BERT(Bidirectional Encoder Representation from Transformers) 是Google提出的基於變換器(Transformer)的深度雙向編碼文字表示模型，通過模型預訓練+任務微調整的方式，在各項NLP基礎任務中展現出了卓越的效能。我們在BERT的基礎上增加了CRF層。 CRF是一種經典的概率圖模型，CRF層可以自動學習到一些約束來確保最終預測結果有效性。

Tab 3. 標籤抽取效果

細粒度情感分類是識別語義標籤的情感傾向，根據抽取出的標籤以及評論的上下文判斷當前標籤的情感。電商標籤往往很短，有些僅從標籤本身很難區分其的情感。同時抽取出的標籤在不同的評論內也可能存在情感歧義，例如，“希望商品價格便宜點”，抽取的標籤是價格便宜，但是使用者表達的價格貴。所以需要根據上下文以及標籤本身綜合判斷。模型方面，我們利用BERT預訓練語言模型得到評論文字的上下文表徵，對BERT的結果使用注意力機制(Attention)加權，然後將組成標籤的屬性詞以及描述詞的首尾特徵向量與注意力機制(Attention)後的結果連線在一起做分類，得到情感的概率得分。

Tab 4. 細粒度情感分類效果

--總結及展望--

本文講述了常見的深度學習模型在小米電商業務上的應用實踐，分析了TDM，LSTM和BERT在電商搜尋、推薦和評論的落地經驗，TDM模型在召回排序階段給出了較好的效果，搜尋查詢理解的成分識別中，Bi-LSTM+CRF優於傳統的CRF模型，而BERT雖然在離線評論標籤聚類中優於其他方法，但對線上部署的效能要求很高，後續我們會不斷探索知識蒸餾等模型壓縮和遷移方法，減小線上部署服務的代價。