真·賽博菩薩!最大的開源影片模型來了,我們實測:有點東西,但不多

AI好好用發表於2024-10-23

AI好好用報導

編輯:楊文
目前釋出的最大的開源影片生成模型。

Genmo 當了一回「賽博菩薩」。

昨晚,AI 影片生成公司 Genmo 推出了最新的影片生成模型 Mochi 1 ,並且大手一揮,直接給開源了 。

圖片

Genmo 在社交媒體上高調宣佈:Mochi 1 在運動質量、提示遵循性和人類渲染方面表現出色,甚至超越恐怖谷。

圖片

同時,它還聲稱,在內部測試中,Mochi 1 已經能與 Runway、Luma 、可靈等領先的閉源競爭者打個平手,甚至略勝一籌。

圖片

圖片

為了讓網友體驗一波 Mochi 1 ,Genmo 還提供了一個線上網址。

連結:https://www.genmo.ai/play

不過,每6小時僅有 2 次免費生成機會,且用且珍惜吧。

圖片

不少網友得知訊息後,已經按耐不住整活的熱情。

圖片

圖片

那麼,它的效果到底咋樣?

先來瞅瞅官方放出來的影片 demo,稍後我們奉上一手實測。

真·賽博菩薩!最大的開源影片模型來了,我們實測:有點東西,但不多

-1-

一手實測

要說 Mochi 1 最大的優勢,就在於其高保真運動和強大的提示遵循能力。

它可以對生成影片中的角色、設定和動作進行精確控制。

科技媒體 VentureBeat 的記者生成了一段老奶奶側對著鏡頭說話的影片。

真·賽博菩薩!最大的開源影片模型來了,我們實測:有點東西,但不多

無論是花白的頭髮,還是面部的皺紋,以及說話時顫動的嘴角,都相當逼真。

不過,如果細看,還是能發現老奶奶的眨眼動作並不自然。

而在下面這段 5 秒影片中,男子正端詳瓷器,眼睛沒有什麼明顯的 bug,但手部動幅一大,就會發生輕微扭曲。

真·賽博菩薩!最大的開源影片模型來了,我們實測:有點東西,但不多

X 網友 Heather Cooper 展示了一系列 Mochi 1 生成的作品:

真·賽博菩薩!最大的開源影片模型來了,我們實測:有點東西,但不多

她還對比了兩次生成結果的連貫性:

真·賽博菩薩!最大的開源影片模型來了,我們實測:有點東西,但不多

我們也來湊湊熱鬧,親自上手試一把。

Prompt:Surreal, cinematic, an astronaut wandering on the desolate moon, with extreme detail.

提示詞:超現實,電影效果,一個宇航員在荒涼的月球上漫步,極致細節。

真·賽博菩薩!最大的開源影片模型來了,我們實測:有點東西,但不多

一開始,鏡頭對準坑坑窪窪的地表,然後緩緩上移,畫面中出現了一個身穿宇航服的宇航員。

雖然其鏡頭運動幅度挺大,但並未體現 Prompt 中宇航員漫步的動作。

Prompt:A little dog was chasing bubbles on the grass.

提示詞:一隻小狗在草地上追逐泡泡。
真·賽博菩薩!最大的開源影片模型來了,我們實測:有點東西,但不多

這一次,Mochi 1 翻車翻得猝不及防。

影片中,小狗在搖晃腦袋時,出現了大面積的崩壞,而且從修勾的嘴裡吐出很多泡泡,這顯然不符合客觀事實。

儘管官方聲稱 Mochi 1 的提示遵循和運動質量超過大多數影片模型,但我們發現,Mochi 1 仍然存在瑕疵。

例如,它僅支援 480p 的解析度,並且在處理複雜運動的場景時,可能會出現輕微的視覺扭曲。

此外,Mochi 1 在模擬照片級真實感方面表現出色,但在處理動畫內容時還稍顯力不從心。

當然,Genmo 公司已表示,計劃在今年晚些時候推出 Mochi 1 HD 版本,屆時將支援 720p 的解析度,並在運動細節上提供更高的精確度。


-2-

目前釋出的最大的開源影片生成模型

據介紹,Mochi 1 基於 Genmo 的非對稱擴散變換器(AsymmDiT)架構構建,擁有 100 億個引數,是目前公開發布的規模最大的開源影片生成模型。

該架構專注於視覺推理,處理影片資料的引數量是處理文字資料的四倍。

為了降低終端使用者的裝置記憶體需求,讓開發者更容易地獲取和使用模型,Mochi 1 採用了影片變分自編碼器技術,能夠將影片資料壓縮到原始大小的一小部分。

現在,使用者可以在 Hugging Face 平臺上免費獲取完整的模型權重和程式碼,不過需要注意的是,要在自己的裝置上執行 Mochi 1,至少需要配備 4 塊 Nvidia H100 GPU。

  • Code:

    https://github.com/genmoai/models

  • Preview版本:

    https://huggingface.co/genmo/mochi-1-preview

最後,說個題外話。

昨晚,一大堆 AI 公司排隊上「新貨」。

圖片

除了 Genmo 開源自家影片生成模型 Mochi 1 外 ,Runway 還介紹了新功能 ——Act One,可以把真人表演轉化成不同風格。

真·賽博菩薩!最大的開源影片模型來了,我們實測:有點東西,但不多

而在大模型領域,Anthropic 推出了升級版的 Claude 3.5 Sonnet ,以及一款新模型 Claude 3.5 Haiku;OpenAI 在歐洲上線了高階語音功能;Perplexity 引入推理模式,允許使用者提出多層問題。
圖片

此外,AI 生圖領域,Stability AI 釋出了自家最強模型 Stable Diffusion 3.5,並一口氣祭出三個版本;Ideogram 推出 Canvas,可擴圖、區域性重繪等。

圖片

大洋彼岸的 AI 圈扎堆搞更新,真有一種過年的趕腳。

延伸閱讀:Sora 競爭對手融資數千萬美元,目前可免費“薅”

文章影片連結:https://mp.weixin.qq.com/s/OdHvM7nsTWAxbJBYmxZx_w

參考連結——

https://venturebeat.com/ai/video-ai-startup-genmo-launches-mochi-1-an-open-source-model-to-rival-runway-kling-and-others/

專案部落格:

https://www.genmo.ai/blog?utm_source=ai-bot.cn

線上體驗:

https://www.genmo.ai/play

huggingface模型庫:

https://huggingface.co/genmo/mochi-1-preview


以後我們會帶來更多好玩的AI話題,也歡迎大家進群交流。

圖片

相關文章