又一Sora級選手來炸街！我們拿它和Sora、可靈PK了下

机器之心發表於2024-06-14
Sora

當Sora「千呼萬喚」不出來時，OpenAI 的對手們卻紛紛祭出大殺器來炸街。


Sora 再不開放使用，真的要被偷家了！

今日，舊金山初創公司 Luma AI 打出一手王牌，推出新一代 AI 影片生成模型 Dream Machine。人人免費可用。
圖片
據介紹，該模型能夠根據簡單的文字描述生成高質量、逼真影片，效果堪比 Sora。

訊息一出，大量使用者擠進官網嚐鮮。

儘管官方聲稱該模型能在短短兩分鐘內生成 120 幀影片，但由於訪問量激增，許多使用者在官網中苦苦等待數小時。

Luma 的產品增長主管 Barkley Dai 不得不在 Discord 上發文解釋 ——

「目前我們面臨巨大的需求，正在努力提升我們的處理能力。所有影片生成任務都會保留，只是需要在佇列中稍作等待。一旦我們增加了處理能力，我會立刻在這裡通知大家！」

Dream Machine 效果到底如何？

有網友表示，目前，Luma 是 AI 影片領域的新王者。
圖片
還有網友稱，「我們不再需要 Sora ！」不知 OpenAI 看了作何感想。
圖片
不過也有網友吐槽，製作 8 個影片後，系統提示「超出最大使用限制」，並且沒有解釋應該等待多長時間才能製作新影片。
圖片
網友瘋狂整活兒

這幾天，AI 影片圈子卷瘋了，你方唱罷我登場。

先是快手可靈開啟內測，排隊人數超過 5 萬人，緊接著 Luma 就祭出殺手鐧 Dream Machine，人人免費可用。
圖片
與其他 AI 影片模型相比，Dream Machine 具有以下幾個特點：

1. 速度快，120 秒即可生成 120 幀；
2. 動作逼真，流暢，還融入電影級別的攝影技巧和戲劇張力；
3. 角色一致性極強，能夠模擬物理世界；
4. 運鏡自然，可匹配場景情感。

Luma 官方和廣大網友們陸續整活兒，奉上了一出出精彩的視覺盛宴。

例如，這段使用文字生成的影片，畫面是一輛汽車在馬路上狂飆。無論是行駛過程還是鏡頭轉換，絲滑逼真。又一Sora級選手來炸街！我們拿它和Sora、可靈PK了下一個低至地面的攝像機，跟蹤一群小倉鼠深入洞穴，這畫面與 Sora 的螞蟻影片有異曲同工之妙，不過，Dream Machine 使用的是圖生影片功能，俗稱「墊圖」。 又一Sora級選手來炸街！我們拿它和Sora、可靈PK了下
一個身穿橙色 T 恤的光頭男人在房間內移動，人物的逼真程度以及畫面構圖媲美電影大片。又一Sora級選手來炸街！我們拿它和Sora、可靈PK了下這是一個廢墟場景拍攝鏡頭。地面上廢棄的繩子、木板以及牆面的塗鴉呈現地自然真實。 又一Sora級選手來炸街！我們拿它和Sora、可靈PK了下畫面中，一名妙齡女子揮舞裙襬跳舞，動作行雲流水，像極了奢侈品廣告大片。不過美中不足的是，裙襬、頭髮會出現形變。 又一Sora級選手來炸街！我們拿它和Sora、可靈PK了下甚至有網友生成了一段殺手槍戰的動作場景。 又一Sora級選手來炸街！我們拿它和Sora、可靈PK了下網友 @ai_mov_director 還用它生成一段 1 分鐘的故事片 ——「Break The Tie」，在保持人物一致性方面，Dream Machine 有兩把刷子。 又一Sora級選手來炸街！我們拿它和Sora、可靈PK了下
除了生成逼真影片外，Dream Machine 也可以嘗試不同風格。

比如日本動漫風：又一Sora級選手來炸街！我們拿它和Sora、可靈PK了下迪士尼風格： 又一Sora級選手來炸街！我們拿它和Sora、可靈PK了下
總體來看，Dream Machine 在影片的逼真度、流暢度方面值得稱道，不過它並非完美。

曾為蘋果、三星、谷歌等知名品牌執導過廣告的 Julien Vallee 表示，Dream Machine 能夠模仿自然攝像機動作，特別是手持拍攝時，效果非常逼真。然而，與其他模型一樣，它也需要一些試錯，才能生成出色的鏡頭。
圖片
文生影片圈大亂鬥

2024 年是大選之年，OpenAI 為了不惹事，一直把 Sora 藏著掖著。

當 Sora「千呼萬喚」不出來時，對手們卻紛紛祭出大殺器來炸街。

AI 影片領域風雲突變。

既然 Dream Machine、可靈都打著「對標 Sora」的旗號，那麼，我們索性就搞個競技場，讓 Dream Machine、可靈與 Sora 同臺 PK。

Prompt 1:photorealistic closeup video of two pirate ships battling each other as they sail inside a cup of coffee.
中文提示詞 1：兩艘海盜船在一杯咖啡中航行時相互爭鬥的逼真特寫影片。

Sora：

圖片

Dream Machine：

圖片

可靈：

圖片

Prompt 2：Nighttime footage of hermit crabs using light bulbs as shells.
中文提示詞 2：寄居蟹用燈泡做殼的夜間鏡頭。

Sora：

圖片

圖片

Dream Machine：

圖片

可靈：

圖片

Prompt 3：macro shot of a leaf showing tiny trains moving through its veins.
中文提示詞 3：一片葉子的微距照片，顯示微小的火車在葉脈中移動。

Sora：

圖片

Dream Machine：

圖片

可靈：

圖片

Prompt 4：A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. She wears a black leather jacket, a long red dress, and black boots, and carries a black purse. She wears sunglasses and red lipstick. She walks confidently and casually. The street is damp and reflective, creating a mirror effect of the colorful lights. Many pedestrians walk about.
中文提示詞 4：一個時髦的女人走在東京的街道上，到處都是溫暖的霓虹燈和生動的城市標誌。她穿著黑色皮夾克、紅色長裙、黑色靴子，拿著一個黑色錢包。她戴著太陽鏡，塗著紅色的口紅。她走起路來自信而隨意。街道是潮溼和反光的，創造了一個彩色燈光的鏡子效果。許多行人走來走去。

Sora：

圖片

Dream Machine：

圖片

可靈：

圖片

Prompt 5:Archeologists discover a generic plastic chair in the desert, excavating and dusting it with great care.
中文提示詞 5：考古學家在沙漠中發現了一把普通的塑膠椅子，他們小心翼翼地挖掘並撣去了上面的灰塵。

Sora：

圖片

Dream Machine：

圖片

可靈：

圖片

Prompt 6：a computer hacker labrador retreiver wearing a black hooded sweatshirt sitting in front of the computer with the glare of the screen emanating on the dog's face as he types very quickly.
中文提示詞 6：一隻穿著黑色連帽運動衫的電腦駭客拉布拉多獵犬坐在電腦前，當它快速打字時，螢幕的眩光照射在狗的臉上。

Sora:

圖片

Dream Machine：

圖片

可靈：

圖片

英偉達領投的這家公司什麼來頭？

Dream Machine 火了，也讓其背後的公司 Luma AI 出盡了風頭。

Luma AI 成立於 2021 年，最初只是一家聚焦於 3D 內容生成的技術公司。

執行長 Amit Jain 曾是蘋果公司的計算機視覺系統工程師，技術長 Alex Yu 曾是加州大學伯克利分校的研究生（放棄博士學業創辦了 Luma AI ）。二人在 3D 視覺、機器學習、實時圖形學等領域都有所建樹。

據悉，這家公司已經歷數輪融資。

A 輪融資由 Amplify Partners、Nventures（Nvidia 投資部門）和 General Catalyst 領投，共籌集 2000 萬美元；B 輪融資則由矽谷頂級風投公司 Andreessen Horowitz、英偉達領投，籌集 4300 萬美元。截至目前，公司共融資 7000 多萬美元，估值在 2 億到 3 億美元之間。

去年 11 月，Luma AI 在 Discord 伺服器上推出了文生 3D 模型 Genie。後來推出 1.0 版本，把出圖時間從 20 多秒提升到了 10 秒之內。

沒想到，這次 Luma AI 直接轉道 AI 影片領域。

據官網顯示，Luma AI 核心團隊僅 34 人，從名字看，有 5 人是華人。
圖片
聯合創始人兼技術長 Alex Yu，2021 年從加州大學伯克利分校畢業。期間，他在伯克利人工智慧研究實驗室與 Angjoo Kanazawa 教授一起進行 NeRFs 研究。
圖片
同年畢業於加州大學伯克利分校的 Angela Dong，曾在 Drive.ai、Lyft Level 5 和 Zipline 等公司實習，隨後又加入 Cruise 擔任模擬工程師，專注於為感知模型訓練創造合成資料。目前，她在 Luma 擔任機器學習工程師。
圖片
首席科學家 Jiaming Song 本科畢業於清華大學，碩博畢業於史丹佛大學。在加入 Luma AI 之前，他曾擔任英偉達學習和感知（Learning and Perception）研究團隊和深度想象（Deep Imagination）研究團隊的研究科學家。
圖片
此外，Quei-An Chen 和 Paul Yoo 在 Luma 擔任研究科學家。
圖片
（左為Quei-An Chen，右為Paul Yoo）

其中 Quei-An Chen 在 NeRF 領域深耕，曾因其在 Github 上發起的多個熱門開源專案而聲名鵲起，比如 Neural Scene Flow Fields 和 Instant-NGP。在加入 Luma 之前，他在 DENSO 公司和 LINE 公司參與了多個 3D 視覺技術專案。

連結：
https://lumalabs.ai/dream-machine/creations

相關文章