Adobe 全家桶馬上就要擁有最先進的生成式 AI 影片創作能力了。今天，Adobe 宣佈了 Premiere Pro 全新版本的更新計劃。其中包含為第三方 AI 影片生成模型新增外掛，不論是 OpenAI 的 Sora 還是 Runway 的 Gen-2 和 Pika，很快都將出現在 Adobe 工具體系中可被人們所用。現在，基於 Adobe 自己的大模型 Firefly 的能力，你可以在影片素材上直接新增或減少內容。
轉場時感覺少點烘托背景的鏡頭？現在用 OpenAI 的 Sora 自動生成一段就行了。
Sora 可以在每次 API 呼叫中為自然語言提示建立最多三種影片變體。
新工具也可以用來「憑空延長」已有鏡頭內容的長度，不過這一部分似乎不受提示詞的控制。
自今年 2 月 OpenAI 推出 Sora 以來，我們一直只能看官方在 TikTok 賬號裡放 AI 生成影片的 demo，真正的工具還是在「即將釋出」的狀態。現在新版 Adobe Premiere Pro 都亮相了，可能預示著新技術馬上即將落地。對於 Adobe 高達 3300 萬的 Creative Cloud 付費使用者群體來說，這更是一件大事，它可能會帶來設計領域最徹底和革命性的變化。有了這一功能，Premiere Pro 使用者將能夠編輯和處理傳統攝像機捕獲的實景影片以及 AI 素材並與之混合。想象一下，拍攝一個演員表演逃離怪物的場景的影片，然後用人工智慧生成這隻怪物 —— 這一步不需要道具、服裝和演員，而兩個影片片段可以在同一個編輯器中訪問並組合在同一個影片檔案中。對於使用更成熟的流程（從計算機到手繪幀）建立的動畫也是如此，這些動畫可以與 Premiere Pro 上同一檔案中匹配的 AI 素材混合。
值得一提的是，從 Adobe 的演示裡，我們再次看到了 OpenAI 的 Sora 和其他類似產品存在代差 —— 其生成的影片效果要比其他可用工具要好很多。與 Adobe 之前釋出的許多與 Firefly 相關公告不同，這一次新影片生成工具尚未確定釋出日期，Adobe 只是表示它們將在今年推出。引入第三方先進 AI 大模型對於影片處理來說屬於面向未來的探索。據 Adobe 稱，這一想法旨在為 Premiere Pro 使用者提供更多選擇。Adobe 還表示，其內容憑證標籤可以應用於這些生成的剪輯，以識別使用哪些人工智慧模型來生成它們。Adobe 的 Premiere Pro（PR）自 1991 年底首次釋出 Mac 版以來，一直是世界上最受歡迎的影片編輯程式之一，如今已被世界各地的主要好萊塢電影剪輯師和獨立電影製作人使用。它即將迎來一場其 33 年曆史上從未有過的革新。
需要注意的是，Adobe 尚未確定何時將這些第三方 AI 影片生成器整合到 Premiere Pro 中，而且細節似乎還沒有完全敲定，許多第三方工具在釋出後都需要付費訂閱。此外，Adobe 還使用自己內部的生成式人工智慧產品（如 Firefly 和 Generative Fill 等），強調其模型是根據其擁有或已獲得許可 / 有權使用的資料進行訓練的，例如 Adobe Stock 創作者貢獻的內容（儘管這令一些 Adobe Stock 攝影師和藝術家感到懊惱）。Adobe 專注於多媒體創作和創意軟體產品，在生成式 AI 技術爆發後，這家公司不甘落後快速加入了戰局。上週，據彭博社報導，Adobe 在競爭對手 Midjourney 生成的一些影像上對 Firefly 進行了訓練，Midjourney 本身基於開源 AI 模型 Stable Diffusion，在公開抓取和受版權保護的網路資料上進行訓練。今天，Adobe 宣佈 Firefly 文字到影像生成模型的一個版本將在「今年晚些時候」整合到 Premiere Pro 中，從而提供一套全新的「生成式 AI 工作流程」及功能。例如，「生成式擴充套件」功能將讓影片編輯和電影製作人「無縫新增幀以使影片剪輯更長」，而無需拍攝任何新的鏡頭，這可能是一個非常有用且省錢的功能。Adobe 還表示將讓影片實現更平滑的過渡，例如將過於突然結束的剪輯延長，以在某個時刻或動作上停留更長時間。Firefly for Video 還將確保 Premiere Pro 使用者可以執行智慧「目標檢測和移除」功能，本質上是突出顯示影片中的物件（道具、角色、服裝、風景等），並允許 AI 模型跨不同幀跟蹤它們。同時，使用者還可以利用生成式 AI 將這些物件編輯為新物件，快速更改角色的服裝或道具，甚至跨多個剪輯和攝像機角度完全移除物件。最後，Firefly for Video 還將附帶文字到影片影像生成器，使其可與 Sora、Runway、Pika 和 Stable Video Diffusion 相媲美。儘管目前還只是預覽版，但 Adobe 針對 Premiere Pro 提供的新一代 AI 整合功能已經贏得了電影製作人和社交媒體創意人士的掌聲。「這對我的真人電影工作非常有幫助」，導演 Kevin K. Shah 說道。https://venturebeat.com/ai/adobe-to-add-ai-video-generators-sora-runway-pika-to-premiere-pro/https://www.theverge.com/2024/4/15/24130804/adobe-premiere-pro-firefly-video-generative-ai-openai-sorahttps://www.adobe.com/products/premiere/ai-video-editing.html