京東智慧商客之推薦賣點是基於 NLP 的產品，目前已廣泛地助力和賦能於京東商城的各個平臺。今天和大家分享一下自然語言處理如何在工業界落地實現。主要圍繞以下 5 個方面展開：
- 推薦賣點技術背景
- 架構描述
- 核心 AI 技術
- 模型研發與實踐
- 產品落地與回報
1. 什麼是推薦賣點，用推薦賣點能做什麼事情？
推薦賣點是一種商品文案，或者稱之為對商品的描述。商品文案，即電商平臺中線上利用文字來描述商品的特徵、特色點、詳細資訊，以輔助商家吸引顧客、促進商品銷售，豐富商品的推薦理由。
商品文案有多種型別，不同型別的商品文案有著不同的功能，主要包括長文案（商品標題和商品描述），短文案（賣點）。
- 商品標題是一種綜合性描述資訊的文字，在有限的字數內，資訊完整且客觀地闡述商品，例如描述商品的品牌、是什麼物品、主要功能等。
- 商品描述類似於商品廣告，可圍繞某些特色點進行宣傳，引導使用者購買該商品。
- 商品賣點的目標是突出商品的特色，通常在 8 個字以內，用於豐富商品推薦理由。
傳統的商品文案多是由人工撰寫，費時費力，撰寫速度也很難跟上新商品的迭代速度。隨著自然語言處理飛速地迭代和發展，尤其是深度語言生成模型，通過商品文案自動化生成技術，可以幫助商鋪的店家以又快又省的方式進行商品宣傳。
2. 目前常用的文案生產技術
商品文案自動寫作屬於自然語言處理領域中 text summarization 或者 natural language generation 的問題。
輸入是長文字形式，包括商品屬性、商品詳細描述、買家評論等，輸出是目標商品文案，包括商品描述、商品標題、商品賣點等。
目前有以下幾種文案生成模型的方法，如 Template-based generation、Deep neural network-based generation、Knowledge-based incorporate、Pattern-controlled 等。
- Template-based generation：一種較為傳統的方式，需要預先定義某類別商品的屬性，然後進行商品的屬性值提取，最後基於提取的商品屬性做文案生成；
- Deep neural network-based generation：隨著深度學習的出現，開始使用深度生成模型做自然語言的生成，大多依靠的是典型的編碼器和解碼器結構，基於 transformer 等特徵處理技術；
- Knowledge-based incorporate：引入知識圖譜和知識庫等技術使生成的文案資訊鏈更全，即使輸入的資訊不夠完整，也可進行知識整合；
- Pattern-controlled：該種方式能夠控制生成文案的過程，比如可以控制生成的主題、重點、語言風格，以及文案長度等。
以上這幾種方式主要針對長文字文案生成，目前還沒有針對賣點短文案的生成技術。
3. 推薦賣點價值
賣點文案生成的核心是服務於推薦系統，可增加推薦系統的可解釋性，向使用者展示推薦理由；結合使用者喜好進行個性化推薦，從而傳達準確資訊供使用者決策；向使用者展示特色優勢如服務和優惠等資訊，可以提升使用者的滿意度，促進點選行為，同時增加使用者對平臺的信任度以及延長停留時間。
4. 賣點短文案自動生成技術
通過賣點自動化生成技術，避免人工文案寫作，節約了時間成本；同時，賣點短文案不需要複雜的文學表達，比較適合採用自動化文案生成的方式。為了生成高質量的賣點文案，需要做到以下幾點：
- 能夠捕捉到內容的特色點，足夠吸睛；
- 文案長度有限，需要簡短精巧，但包含重要資訊；
- 能夠實現個性化分發，針對不同的目標使用者展示不同的推薦理由。
接下來通過介紹推薦賣點在推薦系統中的架構設計來介紹賣點如何與推薦系統結合發揮作用。
首先是當請求被初始化時，混合模組（SOA）會觸發前端（Broadway）收集使用者資訊、商品資訊等資料；基於收集到的客戶資料，Index 模組作為 Broadway 和後端推薦的中轉站，將資訊提供給推薦模組；AI-flow 是推薦模組，執行召回和排序，以獲取推薦候選產品，根據產品的庫存和受歡迎程度進行篩選，最後確定要推薦的產品同時將請求傳送給賣點模組，進行賣點的提取和個性化分發。
- SOA/Mixer：協調廣告、推薦和分配應用的混合模組 / 平臺。所有請求最初都傳送到這個混合模組，然後分配給每個應用程式。
- Broadway：推薦系統的前端。收集客戶的資料資訊和購買歷史，以及產品資訊（包括屬性、評論、描述、和影像等），這些資料被髮送到索引模組。
- Index：作為 broadway 和後端推薦部分的中轉站。Index 準備好來自 broadway 的輸入資料並轉發給推薦模組，並從 AI-flow 和 filtering 模組接收推薦產品及賣點。
- AI-flow（召回）：推薦模組中負責召回特徵的關鍵元件。這裡用到的特徵都是離線提取出來的，召回是 AI-flow 的第一步，它根據使用者和產品特徵從海量庫存中檢索出少量可能感興趣的物品，然後將他們傳遞給排序模組。
- AI-flow（排序）：這裡我們採用非線性和線性的排序方法。GBDT 用於非線性排序，可以更好地從特徵中捕捉非線性模式，邏輯迴歸用於線性特徵排序；為了更好地捕捉動態資料分佈，我們實施一種基於 FTRL（McMahan2011）的線上學習策略來處理線上資料流。
- Intelligent Online Product Selling Point Extraction (IOPSE) ：用於產生賣點以支援產品推薦。具體來說，給定一個推薦商品，從賣點池中提取幾個優質的賣點，然後根據目標客戶的個人資料，通過個性化分配演算法選擇最適合的賣點，然後將客戶 ID、產品推薦和賣點傳送回前端進行展示。
1. 智慧賣點創作的技術流程
整個智慧賣點創作模組分為兩個部分：
- 賣點短文案的提取和生成，採用基於商品詳情和使用者評論的文字生成技術；
- 個性化賣點分發，採用基於使用者畫像的使用者個性化賣點分發技術。
以石榴這個商品為例，首先獲取賣點素材，比如石榴的屬性表，商品標題，以及採用 OCR 文字識別技術從商品詳情圖片中提取的文字，買家的正向評論等；然後將獲取的賣點素材輸入到賣點提取和生產模組中，生成針對一個商品的多個優質賣點；在個性化分配模組中，結合客戶興趣給不同的使用者進行不同的推薦賣點展示。
2. 賣點短文案的提取和生成
賣點短文案的提取和生成，主要包括賣點粗篩、賣點生成、賣點精篩這三個步驟。
① 賣點粗篩
目標是從商品文案素材庫裡（商詳頁 OCR，使用者評論，達人文案等）提取初始賣點候選，主要基於 self-adversarialBERT 對文案素材（句子或者短語）進行打分，然後根據打分排序並選擇 top-K 作為賣點生成素材，大範圍地過濾掉與商品無實質性意義的短語或者句子。
在素材文案評分中，將人工寫作的賣點（達人文案）定義為正樣本，將使用者評論或者商詳頁 OCR 等作為負樣本，使用自對抗的 BERT 模型做分類訓練。在實踐的過程中，當句子輸入模型之後，獲取 Bert 模型的 softmax 層輸出概率，表示該句子被分到高質量的概率，根據句子的概率進行排序。這裡簡單介紹一下 Bert 模型。它是基於 Transformer 的雙向預訓練語言模型，在預訓練階段有 Mask 語言模型和預測句子關係兩個任務，在此基礎上進行 finetune 從而完成文字相似度計算、文字分類、序列標註、問答類問題等。文字輸入表徵包括了語義表徵、segment 表徵（分割資訊表徵）、位置表徵；最後將 softmax 層輸出作為該文案的質量評分：
② 賣點生成
由於粗篩中選出的文案素材口語化、不簡練，因此我們接下來依據 Transformer 和 Pointer generator 的文字生成模型基於已經篩選出的文案素材庫進行賣點文案生成。
Transformer 是用於學習輸入文字的表徵向量，它的重要組成部分包括自注意力機制（multi-head self-attention）和位置編碼 (positional embedding)。自注意力機制本質上會對句子中的每個字構建全連線的圖，通過計算 attention 學習每個字的表徵向量，考慮到句子中所有的字對該字的影響。位置表徵中，每一個位置點都有一個編碼，是一個周期函式。
將上一步獲取到表徵進行 Decoder 生成賣點文案。Pointer generator 與其他的語言生產模型的區別在於，其不僅可以從詞庫挑選要學習到的字，還可以從輸入的句子中挑選字。首先分別計算從詞庫中選擇字和從輸入中選擇字的概率，然後再將詞庫中的概率分佈和輸入中的概率分佈結合獲得最終的概率分佈。
③賣點精篩
賣點精篩模型區別於粗篩模型，將生成後的賣點文案，輸入到一種遞迴銳化的 BERT 模型中進行訓練。具體來說，首先將達人賣點寫作當做正樣本，素材庫文案 / 初始模型生成文案當做負樣本，輸入到 Bert 初始分類模型中進行訓練；然後將前一步生成的排名靠前的高質量文案作為負樣本，達人賣點文案作為正樣本，再次輸入到 Bert 模型中做優化訓練，迴圈多次獲得最終的高質量賣點文案。
3. 個性化分發
接下來，我們介紹基於使用者畫像的個性化分發。每一個產品有不同的特色點，可以產生多個高質量的賣點，我們希望根據客戶的興趣點為其分配最有吸引力的賣點，以引導使用者購買該商品。個性化分發分為兩個步驟，首先生成賣點文案的表徵向量和使用者興趣的表徵向量，然後匹配賣點表徵向量和使用者表徵向量，從而實現賣點個性化分發。
使用者興趣嵌入表徵：通過 work2vector 方式獲得產品詞裡每個字的 word embedding，將產品詞中每個字的表徵向量求和獲取該產品詞的表徵，結合使用者對每個產品詞的喜好權重，然後對所有的產品詞進行加權平均，獲取使用者對產品詞的喜好的表徵向量。
賣點文案的特徵向量：通過 work2vector 方式獲得賣點文案裡每個字的 word embedding，然後對賣點文案中每個字的表徵向量求和得到賣點文案特徵向量。
個性化分發：通過計算使用者興趣表徵向量和賣點文案表徵向量的相似度來實現。可用的向量相似度計算的主要方法有餘弦相似度、皮爾森係數、歐式距離和基於 Kernel 的相似度計算等。
1. 文案輸出素材選擇
在模型開發的過程中，首先需要探索不同的賣點文案資源庫對生成高質量賣點的影響。候選的賣點素材庫除了基本的商品描述外，還有買家評論和商詳頁 OCR 提取文字。為了探索這兩種素材來源的優劣，我們對比了這兩種文案（買家評論、商詳頁 OCR 提取內容）在 5 周內對指標提升的影響。從下圖中可以觀察到，買家評論和商詳頁 OCR 提取內容均可以提高與銷售相關的效能指標。特別地，買家評論素材源可將 UV 提升 7% 左右，原因可能是其他使用者的評論更能激發使用者的興趣，即所謂的買家更瞭解買家；此外，商詳頁 OCR 素材源可能會帶來 1% 左右的提升；這些資料告訴我們可以將這兩個素材庫作為初始素材庫。
2. 線上賣點文案質量監管
在實踐過程中，我們希望能夠實時地檢測和過濾歷史資料中對購買行為產生負面影響的低質量賣點或者對購買行為產生促進作用的高質量賣點。由於人工很難綜合評估賣點是否對客戶有吸引力，所以我們希望通過業務端的反饋作為指標來幫助我們去識別高質量賣點或低質量賣點，在此基礎上，可以過濾掉低質量賣點，同時通過實際生產過程中的高質量賣點來重新優化模型。對於線上監控模組，我們需要通過與業務相關的指標（曝光率、點選價值、客戶停留時間等）計算相對提升指標。
3. 離線賣點文案模型優化
對於離線優化模組，我們發現經過業務反饋過濾出的低質量賣點和高品質賣點可以使模型對高質量賣點文案選擇更加敏感，起到優化模型的作用。在實踐過程中，我們將相對提升指標大於 30% 並且基礎點選 PV > 5% 的短文案作為高質量正樣本，剩餘文案作為負樣本，然後輸入到 BERT 模型中進行 finetune，重新打分排序獲取高質量文案；同時我們將基礎點選 PV 大於對比點選 PV 或者對比點選 PV 小於某個閾值的短文案作為低品質負樣本，剩餘文案作為正樣本，然後輸入到 BERT 模型中進行 finetune, 從而打分排序同時過濾低評分的賣點文案。
當目前為止，我們已經完成了億級別的賣點挖掘和生產，覆蓋了上億的 SKU，62 個品類（包括家電、運動、生鮮、處方藥等）；同時，生成的賣點是多樣化的，包括商品特色類、特色服務類、名人同款類、使用者行為類、使用者評價類、特色人群類，旨在能夠挖掘商品特點以助力體驗提升或者引入使用者資料激發從眾行為；另一方面，從銷售指標上看，賣點技術可以有效幫助提升商品點選率（+2%）和停留時長（0.32%+），日常效果正向促進活動頁賦能；基於 LBS 資訊建設特色人群賣點（消費升級或者同城偏好），效果正向，目前在賦能極速版助力下沉市場使用者運營。此外，推薦賣點也廣泛地賦能於主站、京喜、極速版、通天塔活動頁等多個應用場景。
