「無中生有」的AI，除了換臉，也有正規用途

整理、撰文 | 太浪

還記得《哈利波特》中掛在牆上的名畫動起來的場景嗎？

近日，三星用AI「復活」了蒙娜麗莎，讓她「張口說話」了。

這一作品出自三星莫斯科 AI 中心和 Skolkovo 科學技術研究所的研究人員之手。他們在一篇論文中對使用的技術做了詳細介紹。（蒙娜麗莎.gif：三星新研究用一張影像合成動圖，無需3D建模）

簡而言之，就是，他們使用Few-shot learning的方法，建立了一個模型，只用了那幅由達芬奇創作、現收藏於法國盧浮宮博物館的著名油畫《蒙娜麗莎的微笑》，便合成了蒙娜麗莎開口說話狀態的頭部動畫（GIF），且並沒有在這一模型採用 3D 建模等傳統方法。

他們用同樣的技術，讓照片上的瑪麗蓮夢露和愛因斯坦也動了起來。

這一技術得到了一些網友的誇讚，「神奇」、「太強了」，同時也引發了部分網友的擔憂，如果自己的照片被盜用，該怎麼辦？「我們真的需要這個東西嗎？它帶來的弊大於利。」「刷臉支付啥的豈不是更不安全了？」

之前大火的AI換臉術（使用deepfake換臉模型），就因為可能侵犯肖像權、危害社會公共利益乃至國家安全，引起監管部門的關注。

民法典人格權編（草案）二審稿作出規定：任何組織或者個人不得以醜化、汙損，或者利用資訊科技手段偽造等方式侵害他人的肖像權。其他人格權的許可使用和自然人聲音的保護，參照適用有關規定。

目前，三星的這一技術尚未開源。

技術是把雙刃劍，關鍵看掌握技術的人如何使用。

「無中生有」的AI，也有正規用途。比如，將其用在影片廣告領域，就可以解決影片平臺盈利與使用者體驗間的矛盾。

廣告是影片最重要的變現手段之一。但過高的廣告載入率、過於粗暴的廣告展現形式，都影響著使用者體驗，而使用者體驗的降低以及由此帶來的使用者流量減少，則有可能使媒體進入商業化過度開發，使用者體驗進一步降低的負迴圈中。

AI技術應用於營銷領域，將帶來更原生的廣告形式、更精準的廣告投放、更實時的投放最佳化等，為平衡商業變現與使用者體驗之間的矛盾，提供新的有效的解決方式。

其中，用AI技術製成的原生影片廣告已經成為一種新的內容營銷方式，可以將文字、圖片、影像等任意品牌元素自動化、標準化、批次化植入到原生內容中，形成商業閉環。

要實現這一點，首先要「讀懂」影片。

影片結構化、影像識別與處理等技術的發展，為AI「讀懂」影片創造了條件。

影片結構化技術是一種將影片內容中的重要資訊進行結構化提取的技術，利用它對影片內容按照語義關係，採用時空分割、特徵提取、物件識別、深度學習等處理手段，組織成可供計算機和人理解的文字資訊或視覺化圖形資訊。這一技術融合了計算機視覺、影像處理、深度學習、模式識別等前沿AI技術。

影像識別與處理技術包括對影片中動態物體的識別和追蹤、畫素計算、自動化圖形建模和渲染等。

影片結構化技術與影像識別與處理技術相結合後，便可以進行廣告的智慧投放了——在對應的影片中自動投放與內容相關的各種形式的廣告。

影譜科技便是這樣一家，透過AI技術將品牌廣告轉化為結合影片內容和場景的原生廣告的公司。他們的廣告展示形式包括：產品海報、道具、動態視窗、神字幕、產品logo及高階定製廣告等。

（影譜科技案例展示，來源：影譜科技官網）

影譜科技成立於2009年，最初名為北京酷威互動媒體科技有限公司，2011年更名為北京影譜互動傳媒科技有限公司，2015年又更名為影譜科技（Moviebook）。

實現廣告與影片內容的無縫銜接，離不開影譜科技的兩款產品：其於2015年5月正式上線的「植入易」、「Video易」。

植入易，透過播放器來實時抓取分析正在播放的影片源，把影片源進行資料化的計算分析，包括景深、顏色、光源位置做出攝像機和肉眼的模擬，在播放器上疊加廣告素材實現兩個媒體流同步播放，使受眾在觀看時，有擬真的拍攝廣告觀感。

採用了影譜獨有的雲視窗實時植入技術，在影片製作完成後將品牌元素與影片內容無縫結合，再造影片原生場景，使原生內容再造為有效的商業價值。

資料顯示，植入易可以對熱播欄目、影視劇，做到植入廣告的千人千面。比如，實現不同的媒體策略、同一部電影同一個場景，男性看到汽車、3C類產品，女性看到化妝品、時尚服飾。

Video易，對影片內容進行碎片化、標籤化、場景化分析處理，並可對影片中的物體、人物等各類影片元素進行識別與跟蹤，且支援在影片中進行自定義標點，以實現靈活品牌曝光、互動、外鏈轉化、場景化營銷等商業需求。可在網路流媒體中，透過雲視層實現品牌展示、使用者互動、互動外鏈等商業化功能。

綜藝節目《中餐廳2》中的廣告，便是由影譜科技的技術逼真植入的，如，客人手機無痕替換為美圖手機；蘇有朋手機介面無痕替換為美拍直播介面；空境無痕逼真植入VIPKID品牌元素；桌上逼真植入美圖手機，並創意動態展示美拍logo等。

芒果TV廣告營銷中心總經理方菲曾在採訪中表示：「芒果TV跟影譜科技共同合作的人工智慧廣告形式，已經完成了實裝，支援批次化全場景投放，非標素材生成，整個投放像DSP廣告一樣自動化投放的可能性，只需要建立一個任務，就能在數百劇集中完成一鍵植入，植入包含傳統包裝類，節目內曝光類，以及簡單地情節互動類，將長尾流量、會員流量充分利用。」

影譜科技曾披露，在產品上線第一個完整年度開始，便實現了持續盈利。憑藉「植入易」、「Video易」兩種產品，影譜科技2016年營收3.08億，扣非淨利潤3061萬；2017上半年營收2.74億，扣非淨利潤2554萬。2018年，營收10到20億。

極鏈科技Video++也是一家靠AI廣告起家的創業公司。

2012年，還在讀大學二年級的金明在美國波士頓建立了影片AI技術及互動影片系統。2014年10月，他回到上海，創辦了Video++。而後，一路推出Video AI、Video OS、ASMP等產品。

他們的思路是：首先，透過獨家資訊處理技術（VideoAI）將影片結構化，自動掃描影片中的場景，搜尋影片內中互動廣告可投放的點位；然後，藉助廣告建立程式（VideoOS），自動植入氣泡對話、卡牌收集、影片紅包、影片內投票等互動廣告。最後，實現ASMP（AI Scene MarketingPlatform，AI自動化廣告投放平臺），提供智慧化投放策略和批次化投放。

其Video AI技術，能基於影片內容進行包括人臉、場景、物體、品牌、地標、動作、表情、聲音在內的8項維度的資料結構化分析。

根據網上公開資料顯示，Video AI已經積累的知識圖譜覆蓋了2012-2018年全網熱劇、綜藝影片，已經結構化影片時長數十萬小時，積累高質量場景（場景市場超3秒以上，螢幕佔比5%以上）數量4000多萬。

Video++案例展示（來源：Video++官網）

他們曾為長隆樂園提供服務，投放的標籤是遊樂園、海洋沙灘、水族館等，使用者可以直接點選買長隆樂園的門票，廣告轉化率達到了百分之三，而行業一般轉化率僅為是千分之四，提升了近8倍。」（另一種說法是：點選轉化率達到3.9%，現在平均轉化率是千分之二，將近提升了10倍。）

對比之後可以發現，上述兩家公司的業務十分類似，都是致力於用AI將品牌廣告無縫銜接到影片內容中去、並進行批次投放。

「技術能完成的廣告植入方式，只是道具、場景植入。隨著植入營銷的高速發展，越來越多的客戶會要求情節與品牌調性的吻合、使用過程和理念傳遞，這些不是道具場景可以完成的功能。」一位廣告植入行業的資深管理人員曾在接受媒體採訪時對他們的業務發出質疑。一些傳統廣告行業高管也曾表態，影譜科技和video++提供的影片技術廣告，與傳統廣告業務更多是互補關係。

兩家企業也在積極探索其他業務線。據筆者觀察，兩家仍以「AI廣告」為核心業務，但影譜科技更偏融媒體、Video++更偏電商。

「在美國矽谷有一個公司叫臉譜（Facebook），Facebook希望用社交和全世界聯絡；中國有一個企業叫影譜，它想用智慧影像生產、用計算機視覺，讓世界知道中國的影像生產技術是什麼樣的……」影譜科技副總裁吳霞曾公開表示。

新產品的釋出，能直接隱射一個公司在新方向上的探索。

2018年，影譜科技釋出機器自動化生產影片內容引擎 MAPE（Moviebook Auto-Production Engine）。MAPE包括景深測算反推技術與子畫素反軌技術、影片疊加技術、最佳化計算技術及其他技術的完整技術框架，擁有完整的視覺識別（MCVS）、影片結構化（Auto-structuring Video）、自動化影片生產AGC（Auto-Generating Video Content）三大AI元件。

影譜科技一直深耕影像領域。前期，他們以廣告的形式進行商業化，將所生產出來的相關智慧影像推薦的位置和商業化的位置分銷給國內各大廣告公司和代理商。接著，他們要把整個生產應用到各個行業，包括短影片、長影片、UGC、PGC等，放到廣告營銷、智慧影像互動等領域。

針對場景的深入應用，影譜科技的MAPE推出了幾款行業落地解決方案：

面向泛文娛領域應用，MAPE提供包括短影片生產MACS、智慧影視輕工業MALF、資訊視覺化三套AI技術元件，旨在透過智慧分析、理解影片內容、影片內容自動化生產等助力行業技術迭代，幫助媒體和娛樂公司保持競爭力。

面向媒體平臺提供智慧媒體方案MAAM，實現資訊的智慧原生、內容創造、內容審校、新聞視覺化等不同應用。

今年兩會期間，影譜就利用智慧媒體方案MAAM，視覺化、智慧化地呈現政協委員履職作業。

2013年，影譜科技從老鷹基金處獲得第一筆融資。2018年8月，先後獲得來自商商湯、軟銀中國、中金、建銀等機構的資本入股，資金總規模超20億元。

根據IT桔子的資料，影譜科技在完成D輪13.6億元融資後，估值達到68億元。最近一輪融資是在今年2月，獲 TR Capital 數億元戰略融資。

（TR Capital 是由銀行間交易經紀商 ICAP PLC 旗下 Link Asset & Securities 和 Tikehau 聯合創立的國際投資機構，專注投資二級私募股權的基金管理。出資方包括法國政府的 Proparco、瑞士的 CapPrevoyance、法國東方匯理資產管理、麥肯錫等等。此前 TR Capital 在亞太區的直接投資專案包括 Flipkart、君實生物、Evisu、Bilibili 等。）

Video++則是以AI廣告為核心業務，同時進行線上線下電商全產業鏈佈局。

2018年10月，他們開源了Video OS開源，並宣佈永久免費，使之成為所有APP可用的開源小程式系統。

移動網際網路平臺可透過接入API SDK，加入到video++的影片新商業場景池，建立個性化的影片互動系統，從而實現紅包、卡牌、投票、虛擬植入等功能性互動營銷。

為了獲取更多資料，他們啟動了「流量星球計劃」，目的是提取影片中的內容場景，加入到統一的場景庫裡。影片流量主可以免費加入「流量星球計劃」，並且永久使用全套AI廣告服務，每年還將獲得價值20萬元的1000個小時時長的AI智慧分析掃描。

上述兩個舉措，也可以幫其攬來更多使用者，及加快其產品迭代的速度。

在電商領域，Video++搭建了V+MALL 影片電商系統，為使用者提供基於內容衍生的影片內電商購買方式，實現了影片播放中無需跳轉即可完成購買的功能。

「傳統的電商本質上是在做搜尋，都是有非常明確的購買需求，我們稱之為目的地電商。我們做的事情本質上是透過場景觸發購買，叫場景電商。」video++聯合創始人董慧智曾在接受媒體採訪時表示，在影片場景的黑盒子內做互動性的商業，過去，這個黑盒子沒有人開啟過。所以對於大平臺來說，純粹是增量的模式。同時，場景匹配有很好的轉化率，也可以提升品牌的好感度，對於廣告主、電商來說，也很有吸引力。

《2018中國網路視聽發展研究報告》對其說法進行了回應，《報告》指出，電商+短影片，已經成為一種新的商業模式。

此外，他們還與內容方合作，孵化頭部熱點IP，輔之以 品牌策劃、推廣、文娛銷售等服務，實現內容、電商與IP經濟的整合。

2017年，Video++完成3.49億元融資，阿里巴巴、雲鋒基金、曠視科技領投，國投、頭頭是道跟投。根據IT桔子的資料，Video++在完成C輪7.21億融資後，估值達到30億元。該公司曾披露，2018年12月，單月營收突破1億元。

2016年前後，這個賽道曾湧入過一些平臺和創業公司，包括阿里、商湯、曠視。「但新入局的，很快都放棄了。」

極鏈科技聯合創始人董慧智曾在採訪中回憶了這段歷史，「大部分是從別的行業遷移過來的演算法，叫過濾式演算法，結果很快發現根本沒法用。因為過濾式演算法本質是一張張圖片的識別，不斷抽真。…… 到了場景廣告、場景電商的影片領域，比如要投放聚餐場景，必須要識別一個連續的片段，告訴你這個20秒鐘是個聚餐場景，那我這15秒鐘的投放才能有的放矢。如果你用過濾式演算法，只能告訴我單獨某一幀裡有什麼，完全沒法投。」

如今，阿里、曠視轉投Video++。

商湯CEO徐立曾表示，這種無中生有的廣告位，挖掘了新的廣告模式和投放方式。

2017年10月，商湯聯合一下科技（旗下包含一直播、小咖秀、秒拍等產品）、Star VC成立了星廣互動，徐立任星廣互動CEO，瞄準長尾的UGC影片領域。

商湯科技和星廣互動，以SLAM（即時定位與地圖構建技術）對影片內容進行深度理解，對各類影片場景的三維結構進行定位和重建，在影片中的桌面、地面、牆面等加入虛擬物品的AR效果。他們想像投放貼片廣告一樣把AR廣告投放在影片中。

星廣互動還能為人物影片提供實時替換背景的效果，無需綠幕，不需環境特殊配合，為直播、短影片等場景創造出全新的植入式廣告位。

商湯科技搭建了SenseAR擴增實境技術平臺，服務各類短影片、直播等UGC影片平臺，客戶市場佔有率達70%以上，接入APP日活躍使用者過億。

此外，商湯也跟投了影譜科技的D輪融資，並與影譜科技簽訂獨家戰略合作協議，表明雙方將在擴增實境、影片分析等底層AI技術展開深度合作。

湧入這一賽道的其他創企還包括：

成立於2013年，專注於影像識別以及影片內容分析的公司Viscovery。

這家公司2015年8月左右開始切入影片領域。基於計算機視覺和人工智慧的技術，透過同時識別影片中人臉、圖片、文字、聲音、動作、物件和場景七個方面，理解影片內容，然後判斷好的廣告投放點，從而指導廣告主投放與影片內容有關的廣告。

此前，Viscovery主要是透過識別C端使用者上傳的產品影像，倒流到電商平臺，客戶主要是各電商平臺和零售業大廠。由於C端使用者拍攝、掃描的習慣難以養成，轉換到影片識別方向。識別影片，進行精準廣告投放的領域相對來說比較成熟。

Viscovery的投資方中有軟銀中國資本、阿里巴巴創業者基金等，A+輪融資超千萬美元。

成立於2017年4月的周同科技，投資方包括洪泰基金、宣亞國際、快手戰投、微播易等。Pre-A輪融資千萬元；A+輪獲宣亞國際超2000萬元融資。宣亞國際曾表示，投資周同科技是其在佈局智慧營銷戰略上的重要一步。

周同科技以數億級影像訓練的深度學習演算法模型為基礎，具有內容分析、智慧加工、資料管理三項技術能力，為影片平臺、內容創作者等影片行業參與者提供定製化的技術解決方案，以及提供數字營銷解決方案（程式化創意、定製化匹配、多樣化形式、個性化分發）。

垂直賽道，玩家卻眾多，且都獲得了資本的青睞，背後離不開這樣一個時代大背景：網路影片已經成為潮流，影片內容已經成為新的流量入口。

《2018中國網路視聽發展研究報告》顯示，網路影片已成為網路娛樂產業的核心支柱。預計，影片內容行業的市場規模將達2016.8億元，同比增長39.1%。

一篇文章的文字內容在輕易被機器識別後，成就了谷歌、百度這樣的文字搜尋網際網路巨頭；如今，影片內容大爆發，機器在識別影片內容並讀懂影片後，是否也會誕生相應的巨頭？

畢竟，「讀懂」影片後，AI能做的，不只是製作原生廣告。

根據Forrester釋出的《2019-2020 VideoAI技術預測》報告，90%的中國影片平臺正在藉助專業的影片識別技術以對影片進行資料結構化，在影片內容原創、影片營銷、影片結構化商用、影片大資料領域、機器人流程化等領域產生財務績效，透過自動化影像加工輔助技術、生產技術為產業升級提供動力。