京東商城背後AI技術揭秘（二）——基於商品要素的多模態商品摘要

作者：京東AI研究院

導言
過去幾十年間，人類的計算能力獲得了巨大提升；隨著資料不斷積累，演算法日益先進，我們已經步入了人工智慧時代。確實，人工智慧概念很難理解，技術更是了不起，背後的資料和演算法非常龐大複雜。很多人都在疑惑，現在或未來AI將會有哪些實際應用呢？
其實，關於AI的實際應用以及所帶來的商業價值並沒有那麼的“玄幻”，很多時候就已經在我們的身邊。接下來，【AI論文解讀】專欄將會透過相關AI論文的解讀，由深入淺地為大家揭秘，AI技術是如何對電商領域進行賦能，以及相關的落地與實踐。

人工智慧技術在電商領域，有著豐富的應用場景。應用場景是資料入口，資料透過技術得到提煉，反過來又作用於技術，二者相輔相成。

京東基於自然語言理解與知識圖譜技術，開發了商品營銷內容AI寫作服務。並將此項技術應用到了京東商城【發現好貨】頻道中。

透過AI創作的數十萬商品營銷圖文素材，不僅填補了商品更新與達人寫作內容更新之間的巨大缺口，也提升了內容頻道的內容豐富性。

同時，AI生成內容在曝光點選率、進商詳轉化率等方面其實都表現出了優於人工創作營銷的內容。

接下來讓我們一起來看看，針對不同群體採用不同營銷策略及不同風格的營銷文案從而提高營銷轉化率是怎樣透過AI來實現的。

---

與傳統的文字摘要任務相比，商品摘要任務更具挑戰性。一方面，商品給顧客的第一印象來自該商品的外觀，這對顧客的購買決策有著至關重要的影響。因此，商品摘要系統必須能夠充分挖掘商品視覺資訊，反映商品的外觀特色。另一方面，不同的產品有不同的賣點。例如，緊湊型冰箱的優點是節省空間，而環保型冰箱的優點是節能。因此，商品摘要應該反映商品最獨特的方面，從而最大限度地促成消費者的購買。

本文接下來將介紹由京東 AI 研究院提出的 一種電商商品的多模態摘要模型，該模型可以有效地整合商品的視覺和文字資訊來生成賣點突出、流暢和簡潔的商品文字摘要。

論文的標題為 ： Aspect-Aware Multimodal Summarization for Chinese E-Commerce Products ，發表於 AAAI 2020。

論文連結： http:// box.jd.com/sharedInfo/2 926429040ECC7D3

如下圖1所示，商品廣告含有大量的文字介紹，顧客很難在短時間內在這些廣告中獲取有價值的商品資訊，尤其是當顧客想要比較多個商品時，將會耗費大量的時間，影響了購物體驗。商品摘要模型可以為商品生成文字摘要，為潛在消費者提供了短時間內瞭解商品的便利。從消費者決策的角度出發，一個好的商品摘要需要反映商品的外觀特色和賣點資訊，這也是本文提出的商品摘要模型的出發點。

圖1

論文提出了一種基於商品要素的多模態商品摘要方法，如圖1所示，該模型將商品影像、產品標題和其他產品描述作為輸入，生成商品文字摘要。該模型不僅可以有效地整合商品的視覺和文字資訊，而且從商品要素出發，使生成的商品摘要儘可能的包含商品的特色要素，並提高商品摘要的流暢性和簡潔性。

論文中構建了一箇中文商品摘要資料集，該資料集包含約140萬個“商品-摘要”對，涵蓋家電、服飾和箱包品類。在該資料集上的實驗結果表明， 文中提出的模型在自動評價和人工評價指標上都顯著優於其他對比方法。

如圖2所示，論文中提出的商品摘要模型基於指標-生成器網路（Pointer-Generator）。採用了三種策略將商品影像資訊融入模型中，包括使用商品圖片的全域性特徵初始化編碼器，使用商品圖片的全域性特徵初始化解碼器，以及使用商品圖片的區域性特徵，透過注意力機制生成圖片上下文向量參與解碼。

圖2

首先，對商品要素進行建模（所謂的商品要素，就是商品不同方面的屬性。例如：對洗衣機而言，商品要素包括容量和能耗等），然後從商品的要素出發，對摘要的重要性、非冗餘性和可讀性進行建模。

(1)採用基於商品要素的RAML（reward augmented maximum likelihood）訓練，鼓勵模型生成的摘要涵蓋商品的特色要素。如圖2（b）所示，該商品ground-truth特色要素是容量、操控與電機，則該模型將會鼓勵生成描述容量、操控與電機相關的文字；

(2)採用基於商品要素的覆蓋度機制消除冗餘資訊。傳統覆蓋度機制僅能在詞維度進行去冗餘，難以處理相關詞冗餘問題。如圖2（c）所示，“noise”、“quiet”和“tranquil”均在描述“執行聲音”這一商品要素，如果僅對“noise”進行去冗餘，難以保證“quiet”和“tranquil”不出現摘要中。本文提出的模型透過商品要素維度的去冗餘，可以避免“noise”、“quiet”和“tranquil”同時出現在摘要中；

(3)透過商品要素放回跳機制提高摘要的可讀性。如圖2（d）所示，商品要素的回跳描述降低了商品摘要的連貫性，影響了消費者的閱讀體驗。本文提出的模型透過解碼時禁用回跳要素詞，有效地避免了這一現象。

如表1所示，本文提出的帶有的多模態商品摘要模型，MMPG模型取得了比所有基於純文字的模型更好的結果，這證明了商品視覺資訊和商品要素資訊在商品摘要任務中起著重要的作用。

表1

論文提出了一個多模態商品摘要模型，其可以利用商品影像、標題和其他文字介紹，為商品生成摘要。文中提出的模型可以有效地利用商品的視覺資訊，並反映商品的特色要素，從重要性、非冗餘性和可讀性的角度對商品要素進行了有效的建模。

對於電商而言，海量商品的營銷內容在由達人供稿的過程中，受限於達人寫作的效率限制，商品更新速度明顯高於營銷內容上線速度，導致內容短缺。

AI生成內容在生成效率、曝光點選率、訂單轉化率等方面其實都表現出了優於人工創作營銷的內容。該方法正在應用於垂直電商、綜合電商、社交電商、新媒體平臺等眾多場景。

P.S 同時也歡迎對NLP、文字生成和自動文摘感興趣的小夥伴加入我們。相關資訊諮詢，可在後臺給我們留言哦~

京 東 AI 研 究 院
京東AI研究院專注於持續性的演算法創新，多數研究將由京東實際的業務場景需求為驅動。研究院的聚焦領域為：計算機視覺、自然語言理解、對話、語音、語義、機器學習等實驗室，已逐步在北京、南京、成都、矽谷等全球各地設立職場。

歡迎點選“ 閱讀 ”瞭解京東智聯雲AI研究院！