京東商城背後AI技術揭祕（二）——基於商品要素的多模態商品摘要

本文接下來將介紹由京東 AI 研究院提出的一種電商商品的多模態摘要模型，該模型可以有效地整合商品的視覺和文字資訊來生成賣點突出、流暢和簡潔的商品文字摘要。

論文的標題為 ：Aspect-Aware Multimodal  Summarization  for  Chinese  E-Commerce  Products ，發表於 AAAI 2020。

論文連結：

http://box.jd.com/sharedInfo/2926429040ECC7D3

1、多模態摘要模型

如下圖1所示，商品廣告含有大量的文字介紹，顧客很難在短時間內在這些廣告中獲取有價值的商品資訊，尤其是當顧客想要比較多個商品時，將會耗費大量的時間，影響了購物體驗。商品摘要模型可以為商品生成文字摘要，為潛在消費者提供了短時間內瞭解商品的便利。從消費者決策的角度出發，一個好的商品摘要需要反映商品的外觀特色和賣點資訊，這也是本文提出的商品摘要模型的出發點。

論文中構建了一箇中文商品摘要資料集，該資料集包含約140萬個“商品-摘要”對，涵蓋家電、服飾和箱包品類。在該資料集上的實驗結果表明，文中提出的模型在自動評價和人工評價指標上都顯著優於其他對比方法。

2、模型介紹

首先，對商品要素進行建模（所謂的商品要素，就是商品不同方面的屬性。例如：對洗衣機而言，商品要素包括容量和能耗等），然後從商品的要素出發，對摘要的重要性、非冗餘性和可讀性進行建模。

(1)採用基於商品要素的RAML（reward augmented maximum likelihood）訓練，鼓勵模型生成的摘要涵蓋商品的特色要素。如圖2（b）所示，該商品ground-truth特色要素是容量、操控與電機，則該模型將會鼓勵生成描述容量、操控與電機相關的文字；

(2)採用基於商品要素的覆蓋度機制消除冗餘資訊。傳統覆蓋度機制僅能在詞維度進行去冗餘，難以處理相關詞冗餘問題。如圖2（c）所示，“noise”、“quiet”和“tranquil”均在描述“執行聲音”這一商品要素，如果僅對“noise”進行去冗餘，難以保證“quiet”和“tranquil”不出現摘要中。本文提出的模型通過商品要素維度的去冗餘，可以避免“noise”、“quiet”和“tranquil”同時出現在摘要中； 

(3)通過商品要素放回跳機制提高摘要的可讀性。如圖2（d）所示，商品要素的回跳描述降低了商品摘要的連貫性，影響了消費者的閱讀體驗。本文提出的模型通過解碼時禁用回跳要素詞，有效地避免了這一現象。

3、實驗結果

如表1所示，本文提出的帶有的多模態商品摘要模型，MMPG模型取得了比所有基於純文字的模型更好的結果，這證明了商品視覺資訊和商品要素資訊在商品摘要任務中起著重要的作用。

表1

4、總結

論文提出了一個多模態商品摘要模型，其可以利用商品影像、標題和其他文字介紹，為商品生成摘要。文中提出的模型可以有效地利用商品的視覺資訊，並反映商品的特色要素，從重要性、非冗餘性和可讀性的角度對商品要素進行了有效的建模。

對於電商而言，海量商品的營銷內容在由達人供稿的過程中，受限於達人寫作的效率限制，商品更新速度明顯高於營銷內容上線速度，導致內容短缺。

AI生成內容在生成效率、曝光點選率、訂單轉化率等方面其實都表現出了優於人工創作營銷的內容。該方法正在應用於垂直電商、綜合電商、社交電商、新媒體平臺等眾多場景。

P.S  同時也歡迎對NLP、文字生成和自動文摘感興趣的小夥伴加入我們。相關資訊諮詢，可在後臺給我們留言哦~