AI識別技術，在改變全球流媒體

文章從AI識別技術出發，對其應用進行了分析探究。AI識別技術的商業應用以影片推薦和廣告投放為主，作者對其未來發展進行了展望，與大家分享。

話說，最近這高質量網綜也太多了吧，都看不過來！

我這時間，全耗在各種職場、偵探、語言、演技類節目裡了。

那今天，我們就來說說，這些流媒體平臺吧。

我一直覺得啊，我們網際網路企業的“落地”能力，那是槓槓的。

同樣型別的App，對比國外App，國內大廠總有各種新奇的功能，真引領世界。

週末，我看《奇葩說》的時候，就發現愛奇藝在推廣一個新玩意兒—— “掃一掃”。

影片旁邊，會有個掃面按鈕。開始我還不知道，這是幹嘛的。

點選了之後才發現，原來是對內容掃描啊，進行人臉識別。然後，會告訴你影片裡的人都是誰，還有相關百科。

哇，完美解決觀眾常見需求—— “這人誰啊？”。

仔細想想，技術上，還真挺難的。

要知道，這可不是機場裡面那種 1:1 人臉識別，你可以正對著攝像頭，讓系統認出來。

你看，誕總和蟲仔，影片里根本沒看鏡頭，機器只能根據一部分側臉做出判斷。

在我看看來，類似“掃一掃”的創新功能，改變的可不僅僅是最佳化使用者體驗。

透過這小小的功能，我看到的是全球流媒體平臺們暗潮湧動的技術整體實力的競爭，以及在“識別”這個動作下，人、場、物，正在技術賦予的想象力中串聯在一起。

來，我們先“認識”一下

“掃一掃”是眾多AI在影片裡應用的一個小例子，實際上，AI已經充斥在影片各個環節。

要讓AI得到更充分的應用，第一步，當然就是要認識影片裡的內容。

這個能力沒有，後面都沒法玩兒。

來，我們直接先看一個AI最複雜的應用場景—— 藝術創作。

今年7月，Netflix財報披露：公司正在研究利用AI生成預告片。

很快，Netflix就可以快速、大量地，對海量內容自動生成預告，質量還非常高哦。

在降低剪輯師人工成本的同時，這千人千面的預告片，又會增加影片點選率和觀看時長。

其實，在2016年時，21世紀福克斯和IBM就推出了Watson系統給自家的驚悚片Morgan自動生成預告片了，只不過不能像Netflix這大批次搞。

這背後的原理其實都類似，一共分兩步。

第一步，就是識別並理解內容

把剪輯好的全片直接倒入，系統首先就會開始對內容進行識別。

比如，進行復雜環境下的人臉識別，認出演員是誰，還能知道誰是主角，誰是群演。

除了人，還會對景色、物體識別，貼上各種標籤，比如“公園裡”，“家裡近景”等等。

另外，還會對臺詞和配樂分析，識別各個片段的情感，是驚悚還是溫情，一目瞭然。

這一過程想要做到詳細，是很耗費時間的，因為要跟其他來源的資料對比。比如IBM的Watson，就需要24小時來完成。

第二步，就是根據既定工業化套路生成預告

比如，同樣是30秒的預告，可以有各種風格，和各種模版音樂，按照相關標準生產即可，再根據使用者喜好投放。

假設，讓你用AI剪輯沈騰的喜劇電影合集，那可以想象出來，這最起碼可以有“感人風格”和“爆笑風格”兩種模版。

上面這兩步裡，第一步的“識別”是基礎，第二步的“生成”則是應用。

當然，第一步最為重要也是必須，而且同一部影片，系統理解一次之後，結果可以重複利用，賦能更多應用。

第一步的“識別”還真是“基礎武功”。正因如此重要，各大流媒體巨頭都在重點投入研發。

國內方面，老大哥愛奇藝在研究識別這件事上下了大功夫。比如愛奇藝計算機視覺的研究成果多次被包含ICCV在內的學術會議收錄，多次在挑戰賽獲獎。

愛奇藝還曾直接聯合了國內外頂級視覺和多媒體會議，如PRCV2018和ACMMM，首次發起“多模態影片人物識別挑戰賽”，還公佈了全球最大的明星影片資料集（iQIYI-VID），聯手產學研，取得突破。

你問啥是多模態識別？

簡單說，就是基於人臉、聲紋、姿態、場景等綜合識別，這樣一來，即使在暗光下、化濃妝、側臉等等，都能準確識別，它對提升人物識別的精準度非常重要，屬於AI領域中前沿的技術。

開頭提到“掃一掃”能識別半張臉的蟲仔，核心能力就來自於這兒。所以這些應用看著好像沒什麼，但沒點硬核技術還真不行。

比如愛奇藝辦的這兩場大賽，就讓它的人物識別精確度大幅提升。不然你以為一家娛樂公司為什麼要天天搞技術研發。

當AI系統“識別”了影片內容，那就算是“正式認識”了。在之後，更多的應用可能性，就可以展開了。

“認識”之後，事兒了就好辦了

如何利用AI已經“識別”好的影片資料呢？

這時，就要想下流媒體平臺的位置了：連結「創作者」和「觀眾」。

對於「觀眾」們，就是要想辦法提高使用者觀影體驗，而對「創作者」，就可以幫助他們更快更方便的做出好內容。

先看「觀眾」端。

有了識別的資訊以後，最簡單的應用就是…直接把結果顯示給使用者唄。比如，文章開頭提到的“掃一掃”。

TV端也有類似的，比如奇異果AI雷達—— 顯示明星資訊，進入泡泡社群等。

其他相關的應用還有——「只看TA」，騰訊影片和愛奇藝也都支援。

點了之後，使用者就可以只看自己偶像的cut了，比如看一萬遍“坤坤唱跳籃球Rap”合集。這背後，就是利用了各種識別技術，人臉、表情、場景等等。

誒？於此推演，我有一個腦洞。

那就是，“只-不看TA”。想一下，是不是對於某些劇啊，綜藝啊，你老覺得有些地方比較多餘？比如，《親愛的》裡面的回憶畫面，還有《破冰》裡面的陳珂。是不是感覺，你需要這個功能。

其他的，還有對特定人群的使用最佳化，比如騰訊影片的兒童模式保護，愛奇藝的AI手語主播片段生成，B站等彈幕網站的智慧防擋臉功能等等。

好，那再來看看對「創作者」的應用。

上面提到的預告片自動剪輯，就是一個高階的例子。

國內方面，AI也已經被主要用到兩個方面：智慧選角色，還有，智慧剪輯。

AI選角，可以根據劇情需要和演員資訊智慧匹配，大大提升選人效率和成功率。愛奇藝的“藝匯”和優酷的“魚腦”系統，都已經正式商用。

選角的結果，就有《泡沫之夏》的張雪迎、《最好的我們》的劉昊然，還有《長安十二時辰》的雷佳音等等。

剪輯方面，目前已經商用的，更多的，是一個“助手”角色。比如，拍真人秀的時候，需要FollowPD時刻記錄，還要後期各種人工打標籤，剪輯的時候超級費勁。

有了AI的加持，系統可以快速掃描內容，然後按照明星角色分類，還可以識別各類場景，甚至人物的語言和情緒，給各個片段都打上有用的標籤。

比如，在《中國新說唱》後期製作的時候，AI就幫助剪輯師透過特定標籤，精準找到需要片段內容，數秒內就可以調出特定人物素材，大大縮短製作時間。

類似的系統和功能，國內各大產都有投入，愛奇藝的智慧剪輯，騰訊智慧雲剪輯，優酷的鯨觀剪輯等等。

當然，AI的能力不僅在於提升體驗，最重要的，還是幫平臺賺錢。

“識別”與流媒體平臺的“賺錢引擎”

AI怎麼幫流媒體平臺賺錢？這裡有兩個重點應用：影片推薦以及，廣告投放。

當然，這背後都有統一的關鍵詞“匹配”——內容和人，廣告和人。

當使用者能更快的看到自己想看的內容，會員就會不退訂。當使用者能發現自己喜歡的商品，廣告主就不會停止花錢，這樣整個機器就會運轉。

根據Netflix，其平臺80%的觀看量都來自於推薦引擎。他們希望使用者能在1分鐘之內開始觀看節目，否則使用者很有可能會有關掉整個App。

除了常見的，在網站和App上，根據推薦位的權重不同，以及使用者的喜好程度推薦影片之外，Netflix還可以利用智慧識別到的影片影像資訊，生成個性化的影片封面。

比如，一部劇裡有很多演員，Netflix會先“識別”出不同的角色和演員，之後專門用你喜歡的演員當封面，類似的還可以應用在不同場景和色調上。

比如下面這個《奇怪物語》，就可以生成無數種不同的封面，角色、場景都不同。

另外，還可以根據你看影片的時間和歷史內容，體會你的心情變化，推薦不同的影片。比如，一部電影可以有「浪漫」和「驚險」兩種風格的封面。你大半夜的，剛看完一部恐怖片，那就會給你用浪漫風格推薦，平復一下心情。

國內方面，推薦能力各家均有部署。

愛奇藝推出了個性化海報，可以根據使用者的喜好，“識別”使用者喜歡的海報並推送。去年3月，奇異果TV的首頁個性化長影片推薦功能落地，為使用者提供千人千面的推薦服務。

除了賣會員，廣告也是流媒體平臺的重要盈利方式。

在之前，影片的貼片廣告，就只是隨便地插入到影片裡，再正常播放就完事了。廣告和影片本身幾乎分離，使用者體驗很差，廣告轉化率也很低。

後來，YouTube和愛奇藝等頭部企業，探索了智慧廣告插入點，也就是，在適合的情況下插入廣告，以減少使用者體驗的損失。

最近兩年，大家又開始探索，怎樣能讓廣告也和影片內容完美切合。

比如，愛奇藝的創可貼廣告，會根據AI對影片內容“識別”的結果，比如不同的場景、角色、演員、情緒、動作、臺詞等，選取廣告點位。

之後，在影片播放過程中，以浮層展示不同品牌形象的廣告。

基於不同劇情而推送的廣告，其內容與影片情節有了關聯，使用者體驗和商品轉化率都大幅提升。

去年爆款大劇《延禧攻略》上，這類情景廣告就有廣泛應用，大受廣告主喜愛。

看到愛奇藝最新的“掃一掃”功能，我覺得，全新“電視購物”的時代要來了。

自動識別內容+ 電商連結，絕對是一個新亮點。隨便看一個什麼綜藝啊，現代劇啊，就約等於電視購物。

看到節目裡面的明星們，在穿啥用啥吃啥，你突然種草了的話，那就直接“掃一掃”影片畫面唄，然後你會知道這些商品是什麼，然後去直接購買。

這一定是一個新的電商流量入口，再也不用自己去搜什麼“xx同款”了。基於準確的識別，實現了人、貨、場的連線。

國際方面，YouTube在2017年就嘗試廣告內容個性化方案，推出Director Mix工具，方便讓廣告主根據不用使用者定製化廣告。

比如，同樣一款湯類產品的廣告：

• 如果你在看《星際穿越》，那麼貼片的廣告語就會是“感到世界之外的飢餓了嗎？”
• 而如果你在看《女子監獄》，廣告語就變成了“牢裡的飯不好吃？我們的湯好吃。”
• 要是你在看碧昂斯的《SingleLady》，那就說“一個人吃晚飯？”

根據YouTube，這種和影片內容極度切合的廣告方案，讓這款新的湯品的品牌認知度提升55%。

“識別”技術和未來

AI在流媒體中的應用，重點就是影片識別技術的各種落地。

從Netflix和愛奇藝等中美流媒體巨頭的動作，我們可以看出這些年的佈局特點。

首先，重點鋪研發。從Netflix早年舉辦轟動業界的百萬美金推薦引擎大賽，到愛奇藝最近的識別大賽，都是企業在貼近學界，佈局基礎能力。

之後，要利用識別到的資料，展開落地應用探索。流媒體們，作為中間平臺，向下遊，要嘗試提升使用者體驗的功能，向上遊，則要方便節目選角和影片製作。

重點，是要透過強大的AI能力來賺錢，更好的推薦引擎，更最佳化的廣告技術甚至嘗試融合電商，都是流媒體們商業化探索的成果。

2019年，隨著蘋果TV+和迪士尼+正式商用，流媒體的競爭更激烈了。

流媒體的競賽，除了內容自制和版權領域外，最大的戰場就在AI，就在影片識別能力的突破，以及像樣兒的落地應用。

5G時代下，沒有卡頓的體驗和越來越強的AI，將會把使用者的最後一滴時間“榨乾”，你準備好了嗎？