最全測評!Vidu全球首個新功能,搞定「美女變野獸」難題

AI好好用發表於2024-09-12
機器之能報導
編輯:楊文
AI「表演」豬八戒送外賣、黑旋風啃雞腿。

AI 影片圈上演「神仙打架」,全球網友開啟花式整活。

然而,擺在創作者面前的第一道檻兒,就是永遠不知道下一秒會生成個啥。

例如,上一秒還是美女,下一秒就躥出個怪物史萊克:

最全測評!Vidu全球首個新功能,搞定「美女變野獸」難題

明明是個醜萌的布偶猴子,接著就蹦出個小浣熊:

圖片

還有更離譜的,一秒變性:

圖片

這類邪門影片層出不窮,究其原因,還是 AI 難以保持主體一致性。

不過就在昨天,生數科技的影片模型 Vidu 上線了新功能 —— 主體參照,僅需一張圖片即可實現主體可控。

圖片

比如,上傳一張豬八戒的照片,透過提示詞任意切換場景,而豬八戒樣貌不變。

圖片

提示詞:豬八戒在街上玩滑板

圖片

提示詞:豬八戒在河裡游泳。

圖片
提示詞:豬八戒騎摩托送外賣

更重要的是,它免費開放,註冊郵箱即可使用。

體驗地址:www.vidu.studio

圖片


-1-

實測:一張圖,場景隨意換

所謂「主體參照」,就是使用者上傳任意主體的一張圖片,Vidu 就能鎖定該主體形象,透過提示詞任意切換場景,輸出主體一致的影片。

啥叫任意主體?

甭管是人物、動物、商品,還是動漫角色、虛構主體,它都能確保其影片生成的一致性。

Vidu 也是全球首個支援該能力的影片大模型。

接下來,我們就奉上一手實測。

Round 1:人物主體

我們上傳一張「黑旋風」李逵的照片。

圖片

提示詞:一個男子正在海邊的沙灘上啃雞腿。
圖片
李逵的硬漢形象在海邊沙灘場景中得到了完美保留,動作幅度大且流暢自然。
而且,臉部沒有崩壞,也沒有出現「六指狂魔」。
我們又上傳了一張孫悟空的劇照。
圖片
提示詞:孫悟空騎著摩托,行駛在路上。
圖片
孫猴子立馬化身機車手,上演了一出「速度與激情」。
Vidu 對於細節的處理也挺到位。
比如騎摩托時,風將袖子吹鼓起來,毛髮微微向後晃動。
再來禍禍一下「矽谷鋼鐵俠」馬斯克。
圖片
提示詞:一個男子坐在咖啡館裡喝咖啡。
西裝革履的馬斯克坐在咖啡館裡,緩緩轉過頭來,端起了咖啡杯,整個過程一氣呵成,相當逼真。
圖片

值得注意的是,為了防止生成違規影片,Vidu 還在提示詞中進行了限制,不能輸入暴力、色情以及政治人物的名字等。

圖片

Round 2: 動物主體

Vidu 還可以實現動物在不同環境下、大幅運動狀態中細節特徵保持一致。

這意味著,我們只需上傳一張萌寵照片,就能隨心所欲生成一段 Vlog。

提示詞:一隻北極熊在水裡游泳。

圖片

滿是冰川的北極,一隻兇猛的北極熊在水裡撲騰,周圍濺起了圈圈水花。

鏡頭中北極熊運動幅度很大,畫面卻很穩定清晰。

圖片
提示詞:一隻兔子在啃胡蘿蔔。

圖片

雖然我們投餵給 Vidu 的是一張兔子的側面照,但它仍能生成兔子抱著胡蘿蔔啃的正面大特寫。

圖片

提示詞:一隻企鵝在舞臺上跳舞
圖片

從這則 8 秒影片可以看出,Vidu 基本能遵循提示詞的要求,生成的場景就是一個燈光閃爍的舞臺。

毛茸茸的企鵝跳著笨拙的舞蹈,還有表情變化。

最全測評!Vidu全球首個新功能,搞定「美女變野獸」難題

影片連結:https://mp.weixin.qq.com/s/7a6EScdJ2M4nFT40JqGwZw

Round 3: 虛構角色

Vidu 不僅能搞定寫實風格的主體,針對虛構的主體,它也可以保持其高度一致。

一隻蝸牛在海里衝浪,濺起浪花。
圖片

‍這隻蝸牛撲閃著眼睛,在海浪裡疾馳。

圖片

提示詞:貓咪坐在電腦前打字。
圖片
圖片

Round 4 : 動漫主體

動漫風格可以說是 Vidu 的強項,在之前的 7 大 AI 影片神器測評中,Vidu 就憑藉著該強大功能備受好評。

而此次「主體參照」功能中,動漫角色仍是拿手好戲。

提示詞:蠟筆小新踢球。

圖片

圖片

提示詞:柯南在路上奔跑。

圖片

生成的影片中,無論是裝扮還是面孔,都是那個熟悉的柯南。而且,整個鏡頭的畫風均保持動漫風格。
不過,它也有些 bug。例如,胳膊擺動時會有些虛化,隨著鏡頭拉遠,柯南竟然騰空飛起來了。

圖片

Vidu 最讓人驚喜的,還得是對於 3D 動畫人物的處理。

提示詞:男孩站在廚房切菜。

圖片

圖片

提示詞:女孩在花園裡跳舞。

圖片

圖片

Round 5:商品主體

眾所周知,廣告片的一大關鍵就是保證多個鏡頭、不同場景下品牌物形象的一致性。

Vidu 的「主體參照」功能就派上用場。

例如,我們上傳一張可口可樂的商品圖,並輸入提示詞:罐子垂直落在水裡,濺起水花,Vidu 隨即完成產品的動態表現。

圖片

上效果:

圖片

提示詞:食物擺在黑色大理石餐桌上,垂直灑下粉色的櫻花花瓣。
圖片
圖片

效果最明顯的,還要數下面的這則跑步鞋廣告影片。

圖片

影片連結:https://mp.weixin.qq.com/s/7a6EScdJ2M4nFT40JqGwZw

這則跑步鞋廣告中,僅透過一張商品圖,便完成了所有影片畫面的生成,無論是不同角度、背景,還是動態表現,跑步鞋的形象在整個影片中都保持了高度一致。

據悉,該廣告影片僅由一個人花 6 小時完成的,包含前期策劃、素材生成,後期剪輯。

要知道,在傳統廣告片製作中,高質量的鏡頭依賴線下實拍和後期製作,時間週期長、成本投入大。

而如今,Vidu 憑一己之力,就可以在廣告製作中挑大樑。


-2-

專業名詞傻傻分不清?

目前,影片大模型領域已有「圖生影片」和「角色一致性」等能力,那麼,Vidu 的「主體參照」功能到底強在哪兒?

咱們先來縷縷這幾個概念。

所謂「圖生影片」(Image to Video),就是基於首幀畫面的連續生成。它無法直接輸出目標場景,這就限制了影片內容的多樣性和場景的自由度。

「角色一致性」(Character to Video),則只限於人物面部特徵的一致性,難以保證人物整體形象的穩定。

而 Vidu 的「主體參照」(Subject Consistency),不侷限於人物,面向任意主體。其次在人物主體下,可選擇保持面部一致,也可選擇保持人物整體形象的高度一致,透過輸入文字描述靈活輸出目標場景。

例如,我們輸入一張林黛玉的角色照,輸入同樣的提示詞「在現代咖啡廳喝咖啡」。

圖片

圖生影片效果:

圖片

‍「角色一致性」效果:

圖片

Vidu 的「主體參照」效果:

圖片

我們能直觀看到,在 Vidu 「主體參照」功能下,林黛玉的形象在現代場景中得到了完美保留,場景輸出也自然而真實。

現在,你能分清了嗎?

OK,今天的 AI 小課堂就到這兒,古德拜!

工具連結——
Vidu官網:www.vidu.studio

以後我們會帶來更多好玩的AI應用,也歡迎大家進群交流。

圖片

相關文章