厲害了!Adobe新出Firefly影片模型,2分鐘速成高畫質大片

机器之心發表於2024-09-12
在 Sora 加入 Adobe 全家桶數月後,Adobe 終於推出了自己的影片生成模型。

隨著大家對新鮮、短影片內容的需求不斷增長,編輯、電影製作人和內容創作者被要求在更短的時間內創作出更好的作品。如今,編輯不僅要剪輯圖片,還要進行色彩校正、動畫渲染、音訊混合等,這些內容大大增加了工作時間。

剛剛,Adobe 宣佈推出 Firefly 影片模型。Adobe 旨在利用 AI 強大的功能幫助影片內容創作者擴充套件他們的創意,在客戶要求的時間內提供高質量的成果。

在官方部落格中,Adobe 進行了一系列 Demo 展示,從提示到成片生成時間不到 2 分鐘。舉例來說:

提示:日落時分,雪林中馴鹿的特寫鏡頭和細節肖像。燈光如電影般絢爛、柔和,如陽光般明媚,金色背光,夢幻般的散景和鏡頭光暈。色彩等級如電影般神奇。厲害了!Adobe新出Firefly影片模型,2分鐘速成高畫質大片提示:慢動作拍攝熾熱的火山景觀,熔岩從火山口噴湧而出。攝像機飛過熔岩,熔岩濺到鏡頭上。燈光具有電影感。色彩等級也具有電影感、戲劇性和高對比度。 厲害了!Adobe新出Firefly影片模型,2分鐘速成高畫質大片提示:用羊毛和毛氈製成的微型可愛怪物正在跳舞,3D 渲染,柔和的燈光,夢幻般的散景,電影感。 厲害了!Adobe新出Firefly影片模型,2分鐘速成高畫質大片提示:無人機上的攝像機飛過沙漠的鏡頭,風吹過沙丘,下面的沙子形成波浪。

圖片

如果你需要更多補充畫面, 以填補時間線上的空白 ,Firefly 影片模型也能幫你完成。舉例來說

原始素材為:

圖片

下面是根據提示生成的新片段,提示語為:透過大紅色放大鏡觀察白色蒲公英,特寫。

圖片

Firefly Video 模型還能將影片序列進行組合:

圖片

Firefly Video 模型還能進行相機控制,如角度、運動和縮放,從而建立完美的拍攝視角。
圖片
提示:無人機在日落黃金時段拍攝雪林樹木之間的場景。燈光如電影般絢爛、柔和、陽光般明媚,金色背光、夢幻般的散景和鏡頭光暈。色彩等級如電影般神奇。厲害了!Adobe新出Firefly影片模型,2分鐘速成高畫質大片
Firefly 影片模型還適用於動畫製作、特效合成。例如,給一段街舞影片新增火焰特效:

圖片

圖片

圖片

在製作動畫方面,例如給定提示:手繪簡單的線條藝術,一個小孩子仰望太空,臉上帶著奇妙的表情。

圖片

再比如,給定提示:月亮上可愛的乳酪球在微笑,3D 渲染,octane,柔和的燈光,夢幻般的散景,背景中浮光閃閃:

圖片

有時給定提示要求生成包含易讀文字的高質量影片,這需要 Firefly 影片模型具備較高的「文字渲染」能力。例如,水濺和結冰的宏觀細節鏡頭,拼寫出「ICE」一詞:

圖片

今年晚些時候,Generative Extend 將在 Premiere Pro(測試版)中推出,將讓使用者可以擴充套件剪輯以覆蓋素材中的間隙、平滑過渡或延長鏡頭時間,來實現完美的定時編輯。

例如,剪輯師可以在 Premiere Pro 中使用由 Adobe Firefly 影片模型提供支援的 Generative Extend 來延長鏡頭的保留時間,以匹配音訊的漸強。厲害了!Adobe新出Firefly影片模型,2分鐘速成高畫質大片厲害了!Adobe新出Firefly影片模型,2分鐘速成高畫質大片
Adobe 於 2023 年 3 月首次推出 Adobe Firefly。作為營銷 SaaS 巨頭,Adobe 推出的 Firefly 系列模型為使用者打消了內容版權、隱私安全方面的疑慮。

Adobe 表示:Firefly 影片模型的設計具有商業安全性,並且僅針對 Adobe 有權使用的內容進行訓練,而絕不會針對 Adobe 使用者的內容進行訓練。

參考連結:https://blog.adobe.com/en/publish/2024/09/11/bringing-gen-ai-to-video-adobe-firefly-video-model-coming-soon

相關文章