導讀：
本次分享的主題為 AI 在愛奇藝視訊廣告中的探索。AI 可以對視訊內容、廣告素材進行理解和加工，並應用於視訊廣告，尤其在廣告的點位挖掘和生成、點位分析、素材創作等方面已產生價值，進而有益於廣告庫存提升和收入增加。本次分享的主要內容為：
背景介紹
場景：生成/推薦點位
效果：輔助廣告素材創作
背景介紹
1. 廣告的目的
廣告是在一定週期內，讓儘可能多的人產生消費的一種方式。從週期來看，這個週期可長可短，長週期廣告更多是品牌廣告，目的是讓客戶記住該品牌，當產生消費需求的時候，使用該品牌的服務 ；短週期的則是效果廣告，希望客戶看到該廣告時，當下就會做出一些消費的行為，比如點選、購買、下載、安裝等等。在中間傳遞層，從廣告的價值分析，向合適的人傳達消費的價值，也就是讓有需求的客戶看到廣告，並且讓他感受到當前廣告推薦的商品服務可以更好地滿足他的消費需求。2. 如何傳達消費的價值
廣告系統是一個非常複雜的系統，包括很多非常複雜的投放策略，各種各樣的策略演算法。它包含基本的兩大功能：匹配需求和展示價值。其中，我們如何匹配需求，比如從使用者行為，人群特徵等方面，瞭解使用者喜歡做什麼，從而投放匹配的廣告，滿足怎麼比較好的傳達廣告的價值。這一階段總的來講就是通過匹配需求，把使用者想看的廣告實時推送到使用者面前，帶來廣告主精準投放，並且能實現很好的展現廣告的價值。那麼如何實現“展示價值”呢，我認為可能由這兩個方面組成：場景和效果。場景就是我們經常聽到的營銷上的詞語“場景化營銷”，比如今天上海臺風，雨傘被風吹翻折，在這個場景下，如果出現一個可以抵抗10級颱風的雨傘廣告，使用者會很有動力買這把傘。從視訊理解相關的 AI 範疇來講，第一是如何找到這些適合場景化營銷的場景，即廣告點位，第二是摸索怎麼去幫助廣告展現出一個更好的效果。場景：生成/推薦點位
1. 場景化示意
創可貼：關鍵是找到一個適合出廣告的場景，並且這個廣告跟場景帶有一定的延續性、相關性。現在已經可以規模化地為影視劇生成廣告點位。
例子：使用者吃飯買單時，出現支付寶廣告：買單就用支付寶。
前情提要：自動從上一集篩選並拼接多個小片段，能夠對上一集內容做摘要，稱為前情提要，在前情提要上可以貼廣告。它是無中生有去製造出來的，可以根據廣告主的要求自動生成不同的前情提要，作為廣告點位。
例子：找到男女主高甜的場景，出美顏飲料廣告，喝這種飲料，女人可以變得更美麗，讓使用者產生這樣的關聯。
video in：將廣告 in video，它是一種後期植入，更靈活的廣告投放方式。一方面當一個劇拍得很好，後期上線後會不斷引入更多客戶，我們需要這種在後期可以上線的植入廣告。另一方面前期植入需要客戶、商務和片方導演、演員等頻繁溝通協調，相對而言，後期植入的靈活性較大，也不影響前期拍攝。
例子：運動員在乒乓球場館，他們身後有一個飲料瓶。這是後期植入的一個廣告。
2. 視訊廣告如何實現場景化
剛剛的例子都顯示出在一個具體的場景化中，一個商品具有什麼樣的效果，使得客戶有身臨其境的感覺，同時配合不同的說辭，很明顯的感覺到廣告的效果。所以核心的工作就是尋找和生成場景化的點位，這些點位同時是具有商業價值的點位，通俗來講也就是具有消費需求的點位。從視訊分析，我們會給視訊打上非常多的標籤。有的具有商業價值，有的具有創作價值。商業價值的點位提供給商業部門，實現變現；創作價值的點位提供給內容創作者，進行二次創作。商業價值點位不一定是最精彩的點位，但它一定是能跟我們的消費場景有一定的關係。比如聚餐想喝飲料，地鐵上聽歌，海灘上防曬，親吻時聯想玫瑰花等等這些可能的消費場景。3. 視訊理解
為了找到消費場景，需要進行視訊分析，也就是讓機器去理解視訊的內容。抽象來說，一個視訊內容就是一個三元組，一個物件在一個什麼場景，發生了什麼事情。關於物件，這個物件可以是人，也可以是一個寵物，甚至是一個物體，物件的識別，我們可能去識別它的身份，穿著的裝束，姿態等，加深我們對物件的理解；
關於事件，最基礎的事件可能就是我們的行為，更抽象一點的事件，比如婚禮，戰爭等更高層的語義。在事件的識別中，既有視覺上直接的分類識別，也會利用到語音的資訊，音訊的資訊，臺詞 OCR 識別產生的文字內容等；
場景的識別，即識別一種場景型別，比如這是海灘，會議室等，也有具體地標的識別，比如南鑼鼓巷。包括它的調性，比如奢侈品，希望投放在一個高大上的環境比如西餐廳，同時也包括背景音樂等等，通過這些大量的底層的演算法，我們可以形成對視訊的密集標籤，這些標籤從各個維度去理解視訊。我們可以創造出很多具有商業價值的標籤，通過類似創可貼這樣的廣告方式進行售賣，但是客戶要求會越來越高，比如更關注男女主之間的互動，或者客戶需要更抽象一些的概念時，底層的標籤不能滿足。這是因為底層標籤是孤立的，未產生關係。
4. 視訊圖譜
怎麼實現對視訊更進一步的理解，以下面的例子為主，我們可以從視覺、聽覺、文字打各式各樣的標籤，也可以從部分到整體可以打上各種標籤；有了這些底層標籤之後，我們需要能達到滿足2個需求：① 怎麼去表達抽象的概念，比如浪漫；
② 如何判斷哪些是重要的標籤，哪些是非重要的標籤，以及標籤的精度。當我們生成這些獨立的標籤之後，我們應該利用標籤之間的相關性，提高標籤的精度。當各個識別演算法給出這樣的結論：
從場景識別，識別出宮廷；從物體檢測，識別出手機；從人物裝扮中，識別出古裝。很明顯物體檢測出手機是有問題的，因為這些標籤之間會很多的關係，比如同義詞，上下級、相關性、互斥等，通過對標籤之間的關係的分析，我們可以提高標籤識別的精度，對標籤排序，找到一些更多高層標籤，特別是業務更需要的標籤，比如具有商業價值和創作價值的標籤。我們還會有一些外部的知識，當我們每一個演算法去分析視訊的時候，我們的演算法大部分是機器學習的方式，尤其是深度學習，我們蒐集了大量的帶標註的資料，演算法能實現的是這些標註資料裡面體現出的知識，如果這個演算法的背後模型的網路結構設計的足夠好，訓練的方法足夠好，它就越有可能去逼近這些標註的資料，雖然我們也會做一些非監督類的演算法，但這些模型學到的知識都是來自於訓練的資料，這些訓練資料都是一個領域範圍內的資料，通過這些資料，我們會學習到哪些視訊片段有什麼樣的行為，但是我們不知道發生這種行為的原因。比如我們識別出人物在跑步，流汗，我們很難得出人物想要喝水，想要補充體力等這些知識。這些知識不在我們訓練資料裡面，存在於外部資料，所以我們需要學習內、外部知識，對視訊有更深入的理解，在這些深入理解的基礎上，我們可以支援廣告主更復雜的要求，它具有很多的節點以及節點間關係，從而我們稱它為視訊圖譜。5. VideoIn 選點流程
我們要做一個飲料的後期植入，我們需要什麼樣的點位？簡單總結一下：6. 前情提要貼生產邏輯
對每一集剪輯出一個幾十秒的片段集錦，它是一個兼顧內容價值和商業價值的一款產品。首先需要體現內容價值：① 前情提要要精彩，精彩是一個抽象的概念，可以拆為感官層面和情節層面；同時需要具有代表性，涵蓋劇情關鍵的結點；② 轉場點識別，主要分為場景/鏡頭和對話兩方面，不能出現鏡頭/場景的突然切換，不能出現對話還未結束就被切割等；③ 無效片段過濾，比如一些回憶的鏡頭，一些主角缺失的鏡頭等；④ 剪輯邏輯，使得剪輯的視訊非常豐富，也就是多樣性，同時按照劇情發展的時間順序。7. 視訊場景下的更多廣告訴求
時效性：
新劇剛剛上映，是否可以馬上產生創可貼或者前情提要的點位，選擇 AI 來做，可以克服人去做的成本問題，可行性的問題（時效要求），不可控的因素等，可以交付一個更加具有魯棒性的結果。
豐富性：
讓人去做一件事情時，想要在有限時間內發現有價值的點位，會篩選出最大可能的點位，數量有限。但一個視訊可自動產生的廣告點位是非常多的，我們在為廣告主服務的時候，希望儘可能的滿足客戶需求，更關注廣告點位的豐富性，這種豐富性可以提高廣告投放的靈活性。
效果：輔助廣告素材創作
創作方面的探索，怎麼通過圖片生成視訊，怎麼選封面圖，怎麼生成標題等方面的探索。1. 場景化下的效果展示
可以在廣告方面也做類似的探索，比如掃地機器人，如果出現老人，廣告的術語為：有掃地機器人，避免老人彎腰；如果出現一個比較懶的宅男，廣告的術語為：解放家務活等，廣告內容會根據不同場景有不同的表現。2. 視訊廣告的主要形式
貼片類的：前貼、中貼和後貼；
浮層類的：創可貼、角標和前情提要貼
植入類的：前期植入、後期植入
3. 各類典型視訊廣告分析
我們會考慮在資源一定的條件下，評價各個廣告形式實施的難度，規模化的程度。在實施難度方面：我們可以看到前貼對場景化、視訊內容相關性要求最少；但植入對視訊內容的要求非常多，需要大量的人工或機器做深入的分析；在規模化難度方面，植入很難規模化，但前貼是非常容易規模化的。4. AI 輔助視訊場景營銷
在視訊場景下的營銷之後會是一個非常廣泛的場景，之前我們看到的很多廣告，它不一定有視訊的場景，但是我們走在大街上看到廣告牌其實也是一個視訊化的場景。只是說我們生活中看到的廣告沒有劇情感，但是當我們看一個故事，看一個遊戲的時候，它有劇情的，所以它能提供更多具有場景化的點位，所以視訊平臺，廣告公司，內容創作機構都會一起來參與，那 AI 在裡面，尤其是視訊分析這一塊 AI 的能力，主要會提供內容分析和素材的一個創作，在這樣一個框架下，我們在視訊場景做越來越多的探索。
