VBench評測第一,5周訪問量暴增8倍多! 這款國產AI影片生成器「壓番」Runway

机器之心發表於2024-10-11
「這可能是目前國內最好的影片大模型。」

家人們,這難道不是一部電影的切片?VBench評測第一,5周訪問量暴增8倍多! 這款國產AI影片生成器「壓番」Runway

來自@StevieMac03(I2V,圖生影片)

誰能不被這頭甦醒過來的小飛象萌化?

圖片

使用了圖生影片(I2V)last frame功能,來自@alexgnewmedia

講真,要不是在 X 上晃悠時突然被這幾個影片 「砸中」,咱還真不知道 MiniMax ,中國估值最高的大模型公司之一 ,又悶聲整了個大活兒。

繃不住了,咋說碎就碎?

圖片

魔法降臨,石膏天使也會醒來。

圖片

這些海外「自來水」們秀出的「魔法」,正出自海螺 AI 10 月才上線的新功能「圖生影片」。

五週前,MiniMax 釋出了影片模型 abab-video-1,並在海螺 AI 網頁版上線了影片創作入口(主要是文生影片),正式入局 AI 影片賽道。

旋即,海螺 AI 在過去一個月內迎來爆發式增長,月訪問量超 8 倍, 增速領跑全球 AI 產品。

在 AI 產品榜·網站榜( web )上,海螺 AI 網頁版 9 月訪問量在兩個增速榜排名第一,全球增速榜 TOP 1、國內增速榜 TOP 1,增速高達 867.41%。VBench評測第一,5周訪問量暴增8倍多! 這款國產AI影片生成器「壓番」Runway

海螺 AI 官網連結:https://hailuoai.com/video

封印解除,創意狂歡

2024 年,沒有比 AI 影片生成更「卷」的戰場。

海螺 AI「出征」不算早,上線僅過月餘,就吸引了大批專業人士,包括電影導演、製片人、數字藝術家、遊戲開發者、KOL 等,遍佈全球 180 多個地區。

無論創作者想要創作超現實主義作品、探索幻想和科幻主題,還是深入研究動漫和抽象視覺效果,海螺 AI 都能提供廣泛的選擇,滿足不同創作需求。

一系列惡搞英國「地獄廚神」Gordon Ramsey 的 AI 影片,火爆出圈,網友用的正是海螺 AI 。

這位以爆粗口聞名的廚師總是捲入各種奇怪場面,要麼和一隻夾住襠部的龍蝦搏鬥,要麼穿著 Slayer(美國重金屬樂隊)的 T 恤敲打肉排,又或者坐在廚房中間的馬桶上。

再配上歡快的背景音樂,整個喜劇效果拉滿。

圖片

現實題材中,情緒表達一直是一個難題——無論是對 AI 、還是明星來說,但「自來水們」已冊封海螺 AI 為「動畫表情之王」。

AI 設計師 Pierrick Chevallier 用過後驚呼「細節和真實感已經屬於另一個 Level 了。」

圖片

來自Pierrick Chevallier | IA @CharaspowerAI

新加坡電影導演 EHuanglu 用它生成了一位女性的面部特寫( T2V ),從快樂到悲傷,最後捂臉哭泣,情緒變化演繹相當到位。

該影片已有近 30 萬次觀看,評論區上百位網友爭相抄作業。

圖片

科幻創作,也是很多專業人士、AI 愛好者一展創意的重要場景。

知名導演 Dave Clark 第一次利用海螺 AI 創作的星球大戰片段( T2V ),一度在網路瘋傳。

圖片

試用了最新的圖生影片( I2V )後,這位導演直言,「我一直在等待這種型別的恐龍運動。」

圖片

這隻外星生物的面部細微動作( I2V ),可還行?

圖片

來自Alexandra Aisling@AllaAisling

動漫題材( I2V )也不在話下。請注意,主人公的鞋子細節。

圖片

來自@02121976_yama2

除了提供廣泛的風格選擇,媲美電影的質感也給海螺 AI 再上大分。

看看這個影片( T2V )。人物身體運動、情感表現以及整體畫面質感,越來越接近純粹的電影。VBench評測第一,5周訪問量暴增8倍多! 這款國產AI影片生成器「壓番」Runway

來自Particle Panic@Magiermogul

據說,海螺 AI 不用特效模板,只依靠模型綜合能力實現最頂級的影視特效。

圖片

有導演曾在電影中使用 3D 軟體進行這種災難場面製作,但要達到類似效果非常困難。

現在,海螺AI( I2V )可以輕鬆完成。

圖片

來自tabi_yume@U7991688174711

一些網友、YouTube 主在比較海螺 AI 與最好的影片生成器 Runway、國內快手的可靈後發現,在生成運動方面,海螺 AI 明顯屬於下一個 Level,尤其是人體動作的流暢性和逼真性,比 Runway、Luma AI 等競對都要好。

有博主甚至認為,在人物動作上,海螺 AI 的效能足以媲美甚至超越市面上其他領先的 AI 影片生成器。

你看,這個影片中( I2V )的女人轉向一側,從眼鏡、頭髮、衣服到所有東西,均保持一致,海螺 AI 合乎邏輯地填補了缺失資訊!

圖片

一位電影製作人使用海螺 AI( I2V )後覺得很瘋狂。

看第一幀,只能看見怪物的一隻胳膊和手。但海螺 AI 居然可以自己「腦補」出新胳膊和手,還完美地融入了現有影片。

圖片

來自 Uncanny Harry AI@Uncanny_Harry

X 使用者 Heather Cooper 曾發起線上投票,針對同樣的提示,誰的表現最好?

評論區多數人將票投給了海螺 AI。

圖片

來自Heather Cooper@HBCoop_,提示詞,"Tracking shot of a curator standing and speaking to the camera as she welcomes museum guests. Warm, inviting atmosphere."

圖片

圖片

圖片

除了生成動作方面的領先,幾乎所有使用者都承認海螺 AI 文字響應很好,能夠較為準確地將提示詞中的元素體現在影片中。

士兵轉向攝像機,走向鏡頭,並用槍對準它,海螺 AI 抓住了每一個方位細節。

圖片

嚴格遵循指令中的運鏡要求,也是一個典型例子。

憑藉對 90 年代人物著裝風格、建築樣式的準確還原,以及特殊魚眼鏡頭下滑板動作的精準把控,這個影片讓海螺 AI 在 reddit 中迎來好評。

圖片

目前,海螺 AI 影片模型在 VBench(影片生成模型評測框架)的第三方獨立測試結果中綜合排名第一,在畫面質量、連貫性、流暢性等多維度均處於領先地位。

圖片

最近,香港中文大學和騰訊研究人員透過「 VideoGen-Eval 」專案,對當前主流AI影片生成模型進行了全面評估,肯定了海螺 AI 在文字控制方面突出能力,尤其在人物表情、運鏡、多鏡頭生成和主體動態方面表現優異。

除了老司機,對於此前未接觸過 AI 的新人而言,海螺 AI 也非常友好。

一位名叫 Ksenia_Galushkina 的藝術家新手,花了兩天半時間,用海螺 AI 生成 80 多條影片,製作完成了這條迷你藝術片。VBench評測第一,5周訪問量暴增8倍多! 這款國產AI影片生成器「壓番」Runway

超「戲精」的海螺 AI,要幹掉好萊塢?

俗話說得好,光說不練假把式。海螺 AI 影片模型的實力究竟如何,還得看一手評測。

接下來,我們從海螺 AI 的拿手絕活開始試水。

打個響指,金箍棒秒變笛子

海螺 AI 上新的圖生影片功能,不僅能準確識別上傳的圖片,還能準確理解超過圖片內容之外的複雜文字。

換句話說,創作者可以化身任性的導演,只需下個指令,海螺 AI 就會發揮充分的想象力予以實現。

例如,讓《武林外傳》中的佟掌櫃和邢捕頭,上演一出苦情戲。

圖片

(圖生影片。Prompt:女人悲傷地哭了起來,男人抱住並安慰她。)

不得不說,海螺 AI 的生成效果相當驚豔。佟掌櫃眉一皺、嘴一撅,哭泣的表情非常逼真,邢捕頭擁抱的動作也很自然流暢。

更難能可貴的是,雖然表情變化和動作幅度都較大,但畫面並未崩壞。

再比如被網友玩壞了的「分心男友」經典梗圖。我們輸入 Prompt:穿紅衣服的女生轉身,三個人擁抱在一起。

圖片

海螺 AI 完美遵循了文字指令,紅衣女子轉身,和身後的一對情侶擁抱,整套動作一氣呵成,沒有任何卡頓。

尤其是六隻胳膊交疊在一起,很容易出現扭曲變形,但它生成的影片中,幾乎沒什麼明顯的 bug。

我們還拿它各種「折騰」世界名畫《蒙娜麗莎》。

圖片

Prompt:蒙娜麗莎拿起手機,然後打起了電話。)

圖片

(Prompt:蒙娜麗莎戴上墨鏡。)

海螺 AI 很會「無中生有」,手裡要麼掏出個大哥大式兒的手機,扣在耳邊假裝打電話;要麼摸出個賽博朋克風格的墨鏡,罵罵咧咧地架在鼻樑上,光影、色調等細節處理得都挺到位。

最讓人驚喜的,還得是它對圖片中物品的精準控制。

比如那張著名的地鐵老人看手機的表情包。

不少人應該都見識過他吃手機的 AI 影片,這次我們來一次難度升級:老人拿著的手機變成雞腿,並吃了起來。

圖片

上一秒老人還嫌棄地看著手機,下一秒就變成了雞腿,然後大快朵頤。

為了體現地鐵的高速執行,海螺 AI 對背景的渲染也很逼真,窗外的綠樹快速後撤,環境不斷變化,增強了沉浸感。

還有讓猴哥的金箍棒秒變笛子,由此可見,海螺 AI 能夠很好地解構指令框架和深層語義,並在影片生成中加以整合。

圖片

(prompt:男子手中的棍子變成了笛子。)

一張自拍 + 一個目的地,想去哪就去哪

在電影《映象世界》中,導演使用大量特殊鏡頭和後期製作技術,讓小哥從鏡子中穿越到另一個時空。

圖片

而現在要完成這一效果,只需要一張自拍和一個目的地,海螺 AI 就能實現「跨屏」聯動。

例如,將一位美女的照片和一幅風景圖拼在一起,然後輸入 prompt:女子走向綠地,站在草地上,望著美麗的湖面,鏡頭緩緩左移。

圖片

來瞅瞅效果:

圖片

右邊的美女完美融合到左邊的草地場景中,並且主體從原場景進入目標場景後,光影、色調都會完美嵌入新場景的設定。

圖片

(prompt:女子走向紅色的森林列車,鏡頭緩緩左移。)

海螺 AI 按照文字描述,鏡頭隨著女子的運動軌跡而移動,拼接處也逐漸消失。

輕鬆搞定好萊塢級特效

AI 時代,要有一顆會整活兒的心。

網友們就開發出各種特效玩法,比如 CG 合成、碎片化、變身、爆炸、流體……

要知道,特效這玩意兒,那是嘎嘎費錢。就拿《阿凡達》來說,它的總製作成本為 2.37 億美元,其中特效成本就佔了 1.5 億美元。

財大氣粗的電影製作公司可以狠砸真金白銀,但對於獨立電影人來說,一分錢都難倒英雄漢。

如今海螺 AI 不用特效模板,只依靠模型綜合能力就能輕鬆實現好萊塢級別的特效,真・人人都能當導演。

X 網友 Stylez Morales 就用了一張圖和一句提示詞,得到一段變身特效鏡頭。

一個變形金剛機器人突然變身成一輛超跑,在賽博朋克的街道上疾馳,這畫面,真有一種電影級別的超現實視覺效果。

圖片

(Prompt:dramatic action scene dynamic camera shot of a transformer robot running down a futuristic dystopian cybersteampunk street avoiding explosions and transforms into a highly advanced supercar to get away atmospheric cinematic hyperreal photorealistic award winning blockbuster movie directed by Michael bay)

再比如擬人特效。毛茸茸的玩具小鹿突然奔跑起來。

圖片

(Prompt:小鹿向前跑動。)

玩具小狗突然「復活」,還招朋引伴。

圖片

(Prompt:另一隻小狗走進畫面,兩隻小狗玩了起來。)

爆炸特效。《浴血黑幫》中的三兄弟大步流星往前走,身後的建築在一片爆炸中摧毀。

圖片

(Prompt:三個男人往前走,後面的建築爆炸。)

藝術審美線上

海螺 AI 在藝術審美上,也超能打。

它能用專業級調光與構圖營造美學氛圍,精細控制光影效果與景別變化,畫面質感媲美大片。

比如一隻擬人化的小羊在森林裡跳舞。

畫質高畫質,鏡頭緩慢推進,毛茸茸的小羊羔蹦躂著,耳朵也有節奏地上下扇動,效果絲毫不輸迪士尼動畫。

圖片

再來看看海螺 AI 製作的時尚大片。

女模特擺著各種時尚 pose,表情自然且富有表現力,頭髮也會隨著動作而飄動,大衣紐扣等細節也處理得很精細。

圖片

(Prompt:Fashion blockbuster, the female model strikes a fashionable pose, with the camera following closely.)

我們還上傳了一張戴著墨鏡、身穿西裝、端著酒杯的男模特圖片,然後輸入 Prompt:男人開心地舉起酒杯,然後從畫面左側走出來一位美女。

海螺 AI 完成度相當高,畫面也沒有模糊、扭曲等問題。

圖片

與 Runway 同臺競技

沒有對比,就沒有發言權,讓海螺 AI 和 Runway 打個擂臺,誰強誰弱也就一目瞭然。

我們就先用 OpenAI 創始四人組的照片打頭陣。

上傳同樣的照片,輸入同樣的提示詞:The three people sitting on the sofa stand up and walk out of the frame to the left.

這是海螺 AI 的生成效果:

圖片

這是 Runway Gen-3 Alpha Turbo 的效果:

圖片

海螺 AI 嚴格遵循提示詞,坐在沙發上的 Ilya、Greg、Murati 站起來,向左走出畫面,獨留 Altman 站在原地凌亂;而 Runway 生成的畫面則崩得離譜,照片中的四個人飛出沙發,完全沒有遵循物理世界的運動規律,甚至還出現了腦袋 360 度旋轉的詭異畫面。

再來一個多人物場景。

Prompt:strong man with cowboy hat in bar drinking beer with several women

海螺 AI 生成的畫面,細節更豐富,場景更復雜,人物表情也更自然。

圖片

相比之下,Runway 的鏡頭較為簡單,男子喝啤酒時,杯中的啤酒沒有減少,左邊女生的手部也出現了莫名其妙的動作。

圖片

Prompt:flying toward of a wide shot of an extremely large nuclear powered monster emerging from a fierce storm vortex walking over a city, epic shot in a cinematic fashion, pure destruction.

海螺 AI 的電影質感、畫面豐富度更高,怪獸展現得也更生動。圖片
Runway 則直接缺失了怪物主題,沒有準確理解 prompt 的含義。

圖片

這可能是目前國內最好的影片大模型。

而在已經體驗過的人群中,他們毫無例外地將海螺 AI 歸入第一梯隊。

如果說,9 月的海螺 AI 已經令人印象深刻,那麼,新增 「圖生影片」的海螺 AI 又更上一層樓。它並不完美,但比大家試過的許多 AI 影片模型都要好。

神奇海螺的智慧和魔力是不容被質疑的,既然 Sora 遲遲不來,為什麼不問問神奇海螺呢?

大家還等什麼?快去體驗一波吧。

海螺AI官網連結:https://hailuoai.com/video

相關文章