Open main menu
IT人
OpenAI被偷家,谷歌Veo 2反超Sora
机器之心
發表於
2024-12-17
OpenAI
谷歌
Sora
影片生成領先 OpenAI 了?
今天是個好日子,至少谷歌這麼想。幾個小時前,該公司一鍵三連,一口氣釋出了兩款視覺生成模型和一個工具:
Veo 2
:影片生成模型,可使用文字或影像 prompt 生成高真實感、高質量的影片;
Imagen 3
:文生圖模型,可更忠實地遵從提示詞,實現更加豐富的細節和紋理渲染;
Whisk
:圖生圖工具,基於 Imagen 3 與 Gemini 的視覺理解和描述能力打造,能讓使用者更加方便地調整影像的場景、風格和物體。
其中,Veo 2 可說是直接引爆了整個社交網路。從早期使用者釋出的生成結果以及反饋來看,Veo 2 的生成質量明顯超過了當前最佳的 Sora 等模型。一問世便是當世第一,似乎完全可以囂張地喊一聲:「還有誰?」
谷歌 CEO Sundar Pichai 介紹 Veo 2 的推文
據介紹,Veo 2 可以建立 2 分鐘以上長度的 4k 解析度影片,也能理解提示詞中的相機控制指令(比如廣角鏡頭、POV 和無人機鏡頭),還能重建出符合真實世界的物理互動和人臉表情。
但也必須指出,目前這只是一個理論上的優勢。在谷歌的實驗性影片製作工具 VideoFX 中,Veo 2 目前只提供解析度上限為 720p、長度為 8 秒的影片生成服務。(而目前的 Sora 可以製作高達 1080p、20 秒長的影片。)
儘管如此,Veo 2 現有的表現已經足夠驚豔了其表現是如此之好,以至於一心推介自家 Grok 的馬斯克也跑來讚美了一句。
為了佐證 Veo 2 確實優秀,谷歌還做了一個基於人類評估者的對比評估,簡單來說就是讓人類評估者看不同模型基於同一提示詞生成的影片,然後判斷自己更喜歡哪一個影片。他們對比了 Meta Movie Gen、可靈 1.5、Minimax 和 Sora Turbo。參與者觀看了 1003 條提示詞及相應影片。
在整體偏好上,Veo 2 的優勢非常明顯,被另一個對比模型勝過的機率不超過 33%。
而在指令遵從度上,Veo 2 的表現依舊強勢。
令人意外的反倒是 Sora Turbo,其整體偏好和指令遵從表現是這幾個模型裡面最差的。Sora 要想「挽回面子」,可能還得看以後的滿血版了。
Veo 2 表現驚豔
話不多說,看看 Veo 2 的表現,我們或許就能理解為什麼它在大眾評審中能夠壓倒性地戰勝之前的明星影片生成模型。
首先是對物理世界的理解力大大提高。如果不說是 AI 生成的,水下的波紋、光影,狗狗潛水時的動作協調性,都讓人感覺如此真實,彷彿眼前的一切都是手持相機拍出來的,簡直分不出來。
雖然儀表盤上的字不是完美,但我們可以看到,方向盤向左轉的時候,整體畫面也有一個左移,之後鏡頭向上從車窗搖到街道。
做到這種和主畫面保持強一致性的搖鏡頭,其實非常難,每個細節都需要精確控制,確保鏡頭移動時畫面中的物體位置和運動協調一致。
只有提升對真實世界物理運動規律的理解,才能做到這點,而 Veo 2 在這方面表現得尤為出色。
除此之外,Veo 2 的另一個亮點就是它生成的人類表情更加真實。
拿相似的 prompt 去測試其他模型,想實現這種自然又細膩的陶醉微表情,不失真、不鬼畜,試過才知道有多難。
還有,這畫面簡直就像從紀錄片裡擷取的一幕。鏡頭裡,一個養蜂的男人在蜂群中忙碌,Veo 2 在生成這一場景時,真的是突破了不少難關。
蜜蜂群體飛行不僅要表現出自然的協調感,還得和背景、光影無縫對接,避免出現卡頓或不自然的分佈。但 Veo 2 把這些複雜的細節都處理得恰到好處,蜂群飛舞的每一刻都像是活生生的,「AI 味」已經很淡了。
DeepMind 表示,雖然影片模型經常出現「幻覺」,展示不必要的細節(例如多餘的手指或額外的物體),但 Veo 2 產生這些細節的頻率較低,模型的輸出更加逼真。
當然,作為一款 SOTA 影片生成模型,光能生成擬真影片可不夠。從官方以及網友分享的生成結果看,Veo 2 在生成幻想和動畫內容方面的表現也同樣非常出色。
提示詞:A meeting of a lion, a bear and a giraffe, all of them wearing suits. Photorealistic, cinematic. 來自 X @hhm
提示詞:a sitcom tv show about potatoes,來自谷歌研究科學家 @babaeizadeh
Veo 2 還讓創作者可以輕鬆實現以前需要複雜後期才能完成的視覺效果。比如,它可以讓這個運動的立方體穩定地切換材質,這個畫面讓人來做,看起來就很難,換 AI 來做,其實一點也沒變簡單。
Veo 2 不僅要解決實時追蹤的問題,確保在物體快速移動時也能精準捕捉位置和形態,僅需 Prompt 就能置換材質。最厲害的是,它能保證在多次連續變換過程中畫面始終流暢自然,不會出現抖動或錯位。
Veo 2 的功能已經被加入到 Google Labs 影片生成工具 VideoFX 中,並擴大了可訪問的使用者數量。谷歌表示,計劃明年將 Veo 2 擴充套件到 YouTube Shorts 和其他產品上。
提示詞:A broccoli wearing a leather jacket and carrot wearing a tank top having a steak dinner,來自谷歌研究科學家 @RubenEVillegas
不過 Veo 2 現在還未正式開放,需要填表排隊,等待正式上線。
排隊連結:https://labs.google/fx/tools/video-fx
OpenAI 連開直播 12 天,雖然賺足了流量,但從開播至今乾貨越來越少,可謂噱頭大於實質。
而之前谷歌一直被 OpenAI 狙擊,這次終於迎頭反擊。
雪上加霜的是,OpenAI Sora 的專案負責人 Tim Brooks 也在兩個月前選擇了跳槽至 DeepMind。
按照目前雙方技術迭代的速度和質量來看,或許就像網友們所預測的:「谷歌明年就會把 OpenAI 甩得連尾氣都吃不上了」。
參考內容:
https://blog.google/technology/google-labs/video-image-generation-update-december-2024/
相關文章
別急著捧殺谷歌Veo2,畢竟曾被吹上天的Sora也翻了車
2024-12-19
谷歌
Sora
粉毛小姐姐竟是AI?谷歌新玩具Veo2快把Vlog界整瘋了
2024-12-30
AI
谷歌
OpenAI Sora真的有自己的物理模型嗎?
2024-02-18
OpenAI
Sora
模型
OpenAI Sora對遊戲行業影響最大
2024-02-17
OpenAI
Sora
遊戲
行業
OpenAI 釋出 Sora:擁有超強效能使用者直接擠崩伺服器!
2024-12-10
OpenAI
Sora
伺服器
OpenAI 為 ChatGPT 使用者推出 Sora 影片生成器
2024-12-11
OpenAI
ChatGPT
Sora
沒等來OpenAI,等來了Open-Sora全面開源
2024-03-18
OpenAI
Sora
OpenAI和谷歌分別釋出重大更新
2024-02-16
OpenAI
谷歌
OpenAI進軍好萊塢:電影製作用Sora指日可待
2024-03-25
OpenAI
Sora
OpenAI Sora 關鍵技術詳解:揭秘時空碎片 (Spacetime Patches) 技術
2024-02-28
OpenAI
Sora
Sora竟是用這些資料訓練的?OpenAI CTO坦白惹眾怒
2024-03-15
Sora
OpenAI
OpenAI深夜丟炸彈硬槓谷歌搜尋
2024-07-27
OpenAI
谷歌
大模型111人:谷歌和OpenAI的人才戰爭
2023-03-07
大模型
谷歌
OpenAI
OpenAI宮鬥反轉反轉再反轉,到底是資本任性還是人性扭曲?
2023-11-22
OpenAI
OpenAI未至,Open-Sora再度升級!已支援生成16秒720p影片
2024-04-25
OpenAI
Sora
走,去搞ChatGPT!谷歌AI學者紛紛跳槽OpenAI
2023-02-16
ChatGPT
谷歌
OpenAI
Sora AI Video Generator by Sora.FM
2024-08-08
Sora
AI
IDE
OpenAI 再發 Sora 新短片,傳 Sora 兩週內推出;李飛飛團隊出品空間智慧版 ImageNet 丨 RTE 開發者日報
2024-11-11
OpenAI
Sora
開發者日報
化是漸化,變是頓變:一窺 OpenAI Sora 相關技術的演進
2024-03-01
OpenAI
Sora
外媒:OpenAI 、Anthropic、谷歌新模型表現均不及預期
2024-11-14
OpenAI
谷歌
模型
突發!Sora負責人Tim Brooks離職,還是被谷歌搶走的
2024-10-04
Sora
谷歌
新火種AI | 反轉再反轉!微軟正式收編,Sam Altman不回OpenAI了
2023-11-20
微軟
OpenAI
OpenAI深夜突發SearchGPT!進軍大模型搜尋,谷歌、Perplexity危
2024-07-26
OpenAI
GPT
大模型
谷歌
谷歌、OpenAI學者談AI:語言模型正在努力「攻克」數學
2022-11-01
谷歌
OpenAI
模型
OpenAI新AI搜尋將顛覆谷歌等傳統搜尋引擎
2024-02-22
OpenAI
谷歌
因谷歌違反iOS開發政策 蘋果封殺谷歌旗下大量APP應用
2019-02-01
谷歌
iOS
蘋果
APP
OpenAI宮鬥,塵埃落定,微軟成最大贏家
2023-11-20
OpenAI
微軟
OpenAI與洛斯阿拉莫斯國家實驗室合作
2024-07-11
OpenAI
OpenAI智慧體上演捉迷藏攻防大戰,自創套路與反套路
2019-09-18
OpenAI
智慧體
靠Play Pass反擊Apple Arcade,谷歌有勝算嗎?
2019-09-17
APP
谷歌
谷歌和OpenAI研發新工具,深入瞭解AI如何識別圖片
2019-03-11
谷歌
OpenAI
分享下被偷走的那些年,我在做外包的心得
2020-04-03
GPT-2:OpenAI的NLP商業化野望
2020-02-09
GPT
OpenAI
谷歌深陷反壟斷案泥潭 仍一意孤行?
2022-02-28
谷歌
小心被偷窺!Eufy家庭安全攝像頭爆隱私漏洞
2021-05-18
OpenAI在Dota 2遊戲中雖敗猶榮
2018-08-30
OpenAI
遊戲
OpenAI 12天新功能釋出第2天:RFT
2024-12-07
OpenAI
影片生成SORA隨想
2024-04-25
Sora