AI「表演」豬八戒送外賣、黑旋風啃雞腿。
AI 影片圈上演「神仙打架」,全球網友開啟花式整活。
然而,擺在創作者面前的第一道檻兒,就是永遠不知道下一秒會生成個啥。
例如,上一秒還是美女,下一秒就躥出個怪物史萊克:
明明是個醜萌的布偶猴子,接著就蹦出個小浣熊:
還有更離譜的,一秒變性:
這類邪門影片層出不窮,究其原因,還是 AI 難以保持主體一致性。
不過就在昨天,生數科技的影片模型 Vidu 上線了新功能 —— 主體參照,僅需一張圖片即可實現主體可控。
比如,上傳一張豬八戒的照片,透過提示詞任意切換場景,而豬八戒樣貌不變。
提示詞:豬八戒在街上玩滑板
提示詞:豬八戒在河裡游泳。
更重要的是,它免費開放,註冊郵箱即可使用。
體驗地址:www.vidu.studio
-1-
實測:一張圖,場景隨意換
所謂「主體參照」,就是使用者上傳任意主體的一張圖片,Vidu 就能鎖定該主體形象,透過提示詞任意切換場景,輸出主體一致的影片。
啥叫任意主體?
甭管是人物、動物、商品,還是動漫角色、虛構主體,它都能確保其影片生成的一致性。
Vidu 也是全球首個支援該能力的影片大模型。
接下來,我們就奉上一手實測。
Round 1:人物主體
我們上傳一張「黑旋風」李逵的照片。
提示詞:一個男子正在海邊的沙灘上啃雞腿。
提示詞:孫悟空騎著摩托,行駛在路上。
提示詞:一個男子坐在咖啡館裡喝咖啡。
值得注意的是,為了防止生成違規影片,Vidu 還在提示詞中進行了限制,不能輸入暴力、色情以及政治人物的名字等。
Vidu 還可以實現動物在不同環境下、大幅運動狀態中細節特徵保持一致。
這意味著,我們只需上傳一張萌寵照片,就能隨心所欲生成一段 Vlog。
提示詞:一隻北極熊在水裡游泳。
滿是冰川的北極,一隻兇猛的北極熊在水裡撲騰,周圍濺起了圈圈水花。
鏡頭中北極熊運動幅度很大,畫面卻很穩定清晰。
提示詞:一隻兔子在啃胡蘿蔔。
雖然我們投餵給 Vidu 的是一張兔子的側面照,但它仍能生成兔子抱著胡蘿蔔啃的正面大特寫。
提示詞:一隻企鵝在舞臺上跳舞
從這則 8 秒影片可以看出,Vidu 基本能遵循提示詞的要求,生成的場景就是一個燈光閃爍的舞臺。
毛茸茸的企鵝跳著笨拙的舞蹈,還有表情變化。
影片連結:https://mp.weixin.qq.com/s/7a6EScdJ2M4nFT40JqGwZw
Round 3: 虛構角色
Vidu 不僅能搞定寫實風格的主體,針對虛構的主體,它也可以保持其高度一致。
一隻蝸牛在海里衝浪,濺起浪花。
這隻蝸牛撲閃著眼睛,在海浪裡疾馳。
提示詞:貓咪坐在電腦前打字。
Round 4 : 動漫主體
動漫風格可以說是 Vidu 的強項,在之前的 7 大 AI 影片神器測評中,Vidu 就憑藉著該強大功能備受好評。
而此次「主體參照」功能中,動漫角色仍是拿手好戲。
提示詞:蠟筆小新踢球。
提示詞:柯南在路上奔跑。
Vidu 最讓人驚喜的,還得是對於 3D 動畫人物的處理。
提示詞:男孩站在廚房切菜。
提示詞:女孩在花園裡跳舞。
Round 5:商品主體
眾所周知,廣告片的一大關鍵就是保證多個鏡頭、不同場景下品牌物形象的一致性。
Vidu 的「主體參照」功能就派上用場。
例如,我們上傳一張可口可樂的商品圖,並輸入提示詞:罐子垂直落在水裡,濺起水花,Vidu 隨即完成產品的動態表現。
上效果:
提示詞:食物擺在黑色大理石餐桌上,垂直灑下粉色的櫻花花瓣。
效果最明顯的,還要數下面的這則跑步鞋廣告影片。
影片連結:https://mp.weixin.qq.com/s/7a6EScdJ2M4nFT40JqGwZw
這則跑步鞋廣告中,僅透過一張商品圖,便完成了所有影片畫面的生成,無論是不同角度、背景,還是動態表現,跑步鞋的形象在整個影片中都保持了高度一致。
據悉,該廣告影片僅由一個人花 6 小時完成的,包含前期策劃、素材生成,後期剪輯。
要知道,在傳統廣告片製作中,高質量的鏡頭依賴線下實拍和後期製作,時間週期長、成本投入大。
而如今,Vidu 憑一己之力,就可以在廣告製作中挑大樑。
-2-
專業名詞傻傻分不清?
目前,影片大模型領域已有「圖生影片」和「角色一致性」等能力,那麼,Vidu 的「主體參照」功能到底強在哪兒?
咱們先來縷縷這幾個概念。
所謂「圖生影片」(Image to Video),就是基於首幀畫面的連續生成。它無法直接輸出目標場景,這就限制了影片內容的多樣性和場景的自由度。
「角色一致性」(Character to Video),則只限於人物面部特徵的一致性,難以保證人物整體形象的穩定。
而 Vidu 的「主體參照」(Subject Consistency),不侷限於人物,面向任意主體。其次在人物主體下,可選擇保持面部一致,也可選擇保持人物整體形象的高度一致,透過輸入文字描述靈活輸出目標場景。
例如,我們輸入一張林黛玉的角色照,輸入同樣的提示詞「在現代咖啡廳喝咖啡」。
圖生影片效果:
「角色一致性」效果:
Vidu 的「主體參照」效果:
我們能直觀看到,在 Vidu 「主體參照」功能下,林黛玉的形象在現代場景中得到了完美保留,場景輸出也自然而真實。
現在,你能分清了嗎?
OK,今天的 AI 小課堂就到這兒,古德拜!
以後我們會帶來更多好玩的AI應用,也歡迎大家進群交流。