一種基於圖片搜尋影片的方案

作者：京東零售 谷偉

1.商品搜尋

1.1網路購物的搜尋手段

隨著移動網際網路發展，手機端購物已成為人們生活的常態。人們在搜尋商品時採用的手段也越來越豐富，當前的主要搜尋方式是文字搜尋與拍照搜尋。

1.2文字搜尋

文字搜尋應用比較廣泛，較為常用的是關鍵字匹配，針對商品資訊的相關描述進行分詞，並對分詞建立索引庫，從而達到查詢的目的。隨著人工智慧的發展，語義搜尋得到了快速的發展，它透過使用者輸入的搜尋內容來理解使用者真正的意圖，從而獲得更有價值的內容。其本質是將所有要搜尋的內容轉化為高維數學向量，用統一的特徵向量來描述不同內容，把檢索輸入的內容向量化，並與要搜尋的內容進行向量匹配，把相似度最高的結果展現出來。

1.3拍照搜尋

拍照搜尋也就是以圖搜圖，是近幾年的視覺AI發展的一個產物。使用者登入電商平臺，可以透過上傳圖片，經過影像分析與識別來查詢相似的商品主圖，從而找出相關的商品。其基本原理是經影像分析抽取影像的顏色、形狀、紋理等特徵，建立特徵索引庫，對使用者上傳的影像進行特徵化描述，從索引庫中查詢出與之近似的特徵影像。

2. 現狀分析

2.1需要專業人員參與

文字搜尋需要文字描述的支援，也就是需要對短影片進行文字描述，需要人員對短影片進行準確的文字描述，尤其描述中要含有代表其商品的關鍵詞，否則可能難以被搜尋引擎所命中，這對影片的釋出人員產生了一定的門檻，增加搜尋命中的難度。

拍照搜尋主要是對商品的主圖進行特徵匹配，這也就需要商品釋出人員要製作儘可能與之匹配的圖片，尤其需要美工設計人員的參與，從而增加了人力成本。

2.2難以支援短影片搜尋

隨著近幾年自媒體的發展，短影片逐漸成為網際網路資訊傳播的主要手段。而短影片可以認為是大量圖片的集合，不可能對短影片的每張圖片建立特徵索引，因為這會浪費大量的計算機算力。

3. 技術方案

3.1 技術問題

以前商品介紹主要以圖文方式來展現商品，不僅要展示商品主圖還要配細節圖，以及產品引數，從而達到全面涵蓋產品資訊的能力。而短影片能夠全方位的展示商品，並搭配語言描述以及背景音樂，可進一步形象的給消費者介紹商品的功能，給顧客更直觀的體驗，有助於促進下單。同時商家制作的短影片可將其推送到自媒體平臺上，便於給商品引流，提高商品銷量，從而拓寬了銷售市場。

因此短影片營銷相對於圖文營銷更有優勢，如何讓顧客能夠更快更便捷地搜尋到其感興趣的商品短影片，是本發明所要解決的主要問題。本方案主要解決的是商品短影片搜尋，按照類目維度對商品短影片進行篩選，並提高影片搜尋的命中率，為商品短影片搜尋建立橋樑。

3.2 技術方案

3.2.1 流程圖

流程圖：



3.2.2 詳細描述

1.關鍵幀提取

賣家在製作好商品介紹的短影片後，在釋出商品時對短影片進行上傳，影片時長不能超過2分鐘。對該影片進行關鍵幀提取。影片是由一組連續的影像組成，如果每張圖片都儲存下來，則會導致影片檔案過大，因此影片都會被壓縮，在壓縮過程中，產生了I幀、P幀、B幀。I幀是畫面的完整儲存，它儘可能去除了影像空間的冗餘資訊；P幀則是記錄與前一個關鍵幀的差別；B幀是記錄本幀與上一幀和下一幀的差別。

因此只需提取出I幀即可。在MPEG-4標準中，stss部分標識了哪些sample是關鍵幀，如果沒有stss則全部sample是關鍵幀。當獲取的關鍵幀太多時，以時間軸維度，隨機選取20幀的影像供商家選擇，把商家選取的5張圖片與影片檔案一同儲存到檔案資料庫中。

Mp4標準

2.特徵向量計算

本次的特徵向量計算採用的是VGG16模型。由於關鍵幀的圖片都是彩色圖片，因此採用3通道。卷積核為3×3，池化核為2×2。以224×224的影片影像為例，過程如下：

1) 輸入影像大小為224×224×3，經64個通道的卷積核3×3，步長為1，共卷積2次，輸出尺寸為224×224×64的特徵向量。進行池化，採用池化核2×2，步長為2，輸出尺寸為112×112×64的特徵向量。

2) 經128個3×3的卷積核，步長為1，卷積2次，尺寸變為112×112×128，進行池化，步長為2，輸出尺寸為56×56×128。

3) 經256個3×3的卷積核，步長為1，卷積3次，尺寸變為56×56×256，進行池化，步長為2，輸出尺寸為28×28×256。

4) 經512個3×3的卷積核，步長為1，卷積3次，尺寸變為28×28×512，進行池化，步長為2，輸出尺寸為14×14×256。

5) 經512個3×3的卷積核，步長為1，卷積3次，尺寸變為14×14×512，進行池化，步長為2，輸出尺寸為7×7×256。

6) 將資料拉平成一維陣列，7×7×256=25088。

7) 經兩層1×1×4096與一層1×1×1000的全連線層，最終輸出1×1000的特徵向量。



3.向量資料庫

向量在儲存時要把檔案資料庫中的ID同時存下來，以及商品ID，從而建立向量、檔案、商品的關係。向量搜尋都是相似性搜尋，透過兩個向量在高位空間的距離來做判斷，其實就是在高維空間中找到與目標向量最接近的K個向量，一般採用歐式距離計算，其公式：





為了召回精度高，暴力搜尋的是最好的選擇。但這會產生大量的不必要的計算，浪費了計算機資源。因此本方案採用類目維度進行切割。減少搜尋範圍。

4.影片搜尋

買家需要選擇要搜尋的類目再進行圖片上傳，透過VGG16模型計算出特徵向量，然後基於類目維度進行暴力搜尋把最接近的K個向量篩選出來。最後再根據向量與檔案的關係，把影片檔案查詢出來，返回給買家。

5.影片淘汰策略

每日進行定時巡檢，對於長時間沒有流量或者流量低於閾值的商品，需要從向量庫中對其短影片進行邏輯刪除，儘可能減少搜尋的體積，減少計算資源的浪費。