騰訊廣告：廣告場景下有哪些視覺演算法應用？

今年 7 月，2019 騰訊廣告演算法大賽「終極之戰」在深圳騰訊濱海大廈順利舉行。本次總決賽現場，騰訊廣告高階應用研究員石瑞超為大家帶來了題為《廣告場景下的 AI 視覺演算法應用》的演講。視覺演算法應用於廣告創意的三個階段包括廣告建立、廣告稽核及廣告播放。研究員石瑞超為我們展示了 AI 視覺演算法在解決廣告落地中痛難點的優勢與應用方法。以下是他的分享內容，雷鋒網 AI 科技評論做了不改變原意的整理與編輯。

騰訊廣告高階應用研究員石瑞超

廣告建立，輔助創意輸出

廣告建立分為圖片建立和影片廣告建立。石瑞超提到圖片創意生成過程面臨的兩個效果問題：商品摳圖的邊緣化處理和模板的更新擴充；此外他還介紹了視覺演算法的解決方案。

廣告創意視覺演算法應用

針對商品摳圖，這裡選擇了邊緣處理效果較好的GCN演算法進行最佳化，並對邊緣做加權loss，提升邊緣平滑性，修改產品圖，進而提升視覺體驗。

然後在獲得良好摳圖效果的基礎上，再運用AI生成豐富的模板素材。而這一過程以產品主色調的提取為核心，基礎思路為：檢索並修改背景，做深度美感過濾模型提升產品視覺效果，繼而透過修改配色獲得多重型別模板，達到拓寬模板素材庫的效果。

其中，配色修改透過預估每個畫素的主色調獲得配色後的最終效果，是模板生成的關鍵。在這一實踐中，演算法首先採用了業界常用的 Conv-Deconv+L2 Loss，並根據實際情況改進網路結構和損失函式；在經過重渲染控制畫素值顏色的一致性，最終實際可用率可達到91%，獲得良好效果。

之後，石瑞超以電商廣告為切入點，向大家介紹視覺演算法全自動智慧生成影片創意的過程。

隨著近年來各平臺影片量快速增長，影片創意生成面臨影片廣告庫存不足的現狀。如何快速生成影片廣告成為影片創意的主要命題。要解決這一問題，首先我們需要抓取商品基礎資訊，並基於行業模板庫生成對應故事板（囊括圖片、文案、配樂等要素），故事板經過渲染生成影片，同時應用演算法獲得封面圖，最終上線一條完整的影片廣告。

廣告稽核，質量把控

廣告創意生成後，便進入廣告稽核階段。隨著廣告體量的不斷增長、稽核規則越發繁多和複雜，依靠傳統的人工稽核已經無法滿足當前需求。

首先，稽核人員需要快速且準確地對所有違規點進行識別；其次，針對同樣的違規問題，稽核人員需要給予廣告主一致的反饋意見。為解決這一問題，這裡引入了智慧稽核專案，透過演算法能力，在人工稽核環節之前對廣告創意進行各種檢測，從而輔助人工高質量地完成稽核。

演講中，石瑞超以明星人臉抄襲和遊戲抄襲為例介紹了他們在智慧稽核上面的一些實踐。基於龐大資料庫，他們採用 Asoftmax Loss 演算法抓取特徵，進行明星人臉抄襲的識別工作。運用識別影像關鍵區域的演算法，透過關鍵區域與待識別素材的匹配程度判斷抄襲稽核結果。

明星人臉抄襲識別方法

然而，智慧稽核專案的能力提升也面臨著成本高昂和效率提升瓶頸的難題。因此，這裡引用 AutoML 引擎為研究方向，藉助 AutoML 引擎的調優規則和搜尋策略，提升智慧稽核效率。

AutoML 引擎

廣告播放，體驗最佳化

廣告播放的關鍵問題主要聚焦於兩個方面，一個是如何提升點選率和轉化率；另一個是如何提升視覺體驗。石瑞超主要介紹了雙塔模型：抓取人群歷史的素材點選特徵向量，以廣告的基礎特徵和使用者群體特徵為維度搭建雙塔模型，高效預估點選率，提升廣告投放的預估效果。“我們做了這種嘗試，會發現AUC有比較明顯的提升，大概是2%，線上效果的消耗能達到3%—4%左右。”

在向目標人群推薦廣告的過程中，如果僅以點選率和轉化率為推薦邏輯，使用者很容易看到相似素材。針對這一問題，這裡使用預訓練好的 CNN 模型，提取卷積層特徵，進行降維，得到無監督的 152 位向量。同時加入相似廣告素材的訓練資料進行 finetune，提升廣告資料的擬合度，使召回率獲得明顯提升，從而一定程度避免重複廣告素材的出現，最佳化使用者的視覺體驗。

相似素材過濾步驟

雷鋒網 AI 科技評論