你講故事,它剪視訊:AI視訊剪輯自動化解放熊貓眼剪輯師

機器之心發表於2019-11-16

視訊剪輯是一項費時費力的工作,需要剪輯者自己去找合適的幀並將其拼接在一起。如果能將這一過程自動化,部分剪輯師可能就不用熬夜剪片子了。來自北航、清華、哈佛大學和以色列赫茲利亞跨學科研究中心的研究者開發了一種全新的視訊剪輯方法,可以通過編輯視訊對應的文字完成鏡頭選取和拼接,生成符合文字描述的連貫視訊。

你講故事,它剪視訊:AI視訊剪輯自動化解放熊貓眼剪輯師

研究者提出的這一工具名為「Write-A-Video」,它可以根據文字來決定選取庫中的哪些鏡頭或場景,以此來組成剪輯者所需的故事情節。該工具對新手非常友好,即使不具備專業的視訊剪輯技巧也能得到高質量的視訊蒙太奇。

研究者還提出了一個全新的視訊剪輯介面,使用者可以直接在文字上進行操作,而無需對視訊幀進行操作。

他們在不同的主題文字和視訊資料庫中進行了測試,並進行了定量評估和使用者研究。結果表明,這一結合了人類和演算法能力的智慧數字化工具可以在創意創造過程中給予使用者幫助。藉助於 Write-A-Video 工具,沒有任何視訊剪輯經驗的使用者也可以剪出令人滿意的視訊,有時候剪輯速度甚至比那些使用幀剪輯工具的專業人士還要快。

該團隊準備在本月 17-20 號舉辦的 ACM SIGGRAPH Asia 大會上展示這一成果。ACM SIGGRAPH Asia 是一個由國際圖形影像協會舉辦的電腦影像和互動技術展覽及會議,是計算機圖形學的頂級國際會議。

研究者表示,「Write-A-Video」允許剪輯者創通過簡單地編輯視訊附帶的文字來建立視訊蒙太奇。他們可以新增或刪除文字、移動句子轉換成視訊剪輯操作,如找到相應的鏡頭、剪輯或重置鏡頭等。

剪輯過程分為三個步驟:(1)使用者提供輸入,大部分時候是編輯文字;(2)系統自動搜尋視訊庫中語義匹配的鏡頭;(3)拼接視訊。分割文字和鏡頭之間的視覺-語義匹配是通過級聯關鍵詞匹配和視覺-語義嵌入來實現的,比其他解決方案準確率要高。考慮到時間限制,視訊重組被定義為對鏡頭、攝像機運動和色調等電影技術指標以及使用者指定的電影技術習慣用法(cinematographic idiom)的混合優化。

你講故事,它剪視訊:AI視訊剪輯自動化解放熊貓眼剪輯師

「Write-A-Video 利用了當前自動視訊理解的先進技術和獨特的使用者介面,可以生成更加自然、簡單的視訊剪輯效果,」赫茲利亞跨學科研究中心的教授 Ariel Shamir 表示。「使用我們的工具,使用者能夠以文字編輯的方式提供輸入。該工具可以從視訊庫中自動搜尋語義匹配的候選鏡頭,然後使用優化方法,通過自動裁剪和鏡頭重排來組合視訊蒙太奇。」

現為北航虛擬現實技術與系統國家重點實驗室助理研究員及碩士生導師的汪淼博士說道:「Write-A-Video 可以使使用者通過電影技術習慣用法探索每個場景的視覺風格,以此來加快或減緩視訊節奏、增加或減少動作內容等。」

你講故事,它剪視訊:AI視訊剪輯自動化解放熊貓眼剪輯師

此外,當從視訊庫中選取候選鏡頭時,Write-A-Video 會兼顧鏡頭的美學效果,自動選擇那些燈光、聚焦良好以及清晰穩定的鏡頭。來自清華大學的胡事民教授說道:「在任何時間點上,使用者都可以藉助旁白敘事來渲染視訊和預覽視訊剪輯效果」。

你講故事,它剪視訊:AI視訊剪輯自動化解放熊貓眼剪輯師

在眾多視訊網站中,「觀看某位明星鏡頭」的選項已經出現一段時間了,最近有關自動剪輯的研究看起來又將自動化提高了一大步。這樣的技術,什麼時候會進入實用階段呢?

專案連結:http://miaowang.me/write-a-video/

參考連結:http://siggraphasia.mystrikingly.com/blog/lights-camera-and-text-novel-video-editing-tool-for-user-friendly?categoryId=129388

相關文章