開源AI影片工具，你只需要當導演，HuggingFace工程師打造

机器之心發表於2024-08-13
AI工程師

用 Clapper 做影片，你只需要當導演就行了。


Sora 一出，影片領域似乎已經進入了生成式 AI 時代。不過直到今天，我們仍然沒有用上 OpenAI 的官方影片生成工具，等不及的人們已經開始尋找其他的方法。

最近幾周，一款開源的影片編輯工具 Clapper 引發了人們的關注。

圖片

與很多科技公司提供的影片生成器不同，Clapper 是一款開源 AI 故事視覺化工具，於一年前推出原型。它的設計目的並非取代傳統影片編輯器，或使用 3D 場景作為輸入的現代 AI 編輯器。

Clapper 的理念是集合各類生成式 AI 技術，讓任何人都能透過互動式、迭代和直觀的過程使用 AI 建立影片。無需外部工具、電影製作或 AI 工程技能。在 Clapper 中，你無需直接編輯影片和音訊檔案序列，而是透過調整高階、抽象的概念，如角色、位置、天氣、時間段、風格等，基於 AI Agent 來迭代你的故事。

Clapper 的作者 Julian Bilcke 是 HuggingFace 的一名 AI 前端工程師。他表示，為了向這個方向繼續努力，他還在開發導演模式：目標是讓使用者可以全屏播放影片，舒適地坐在導演椅（或沙發）上，向 Agent 大喊命令，讓 AI 製作電影。

圖片

最近幾天，Julian Bilcke 已經上線了使用大模型將任意文字轉換為時間線等新功能。而 Clapper 的熱度也水漲船高，在 GitHub 上已經擁有超過 1100 的 Star 量。

圖片

  • GitHub 連結：https://github.com/jbilcke-hf/clapper
  • HuggingFace 連結：https://huggingface.co/spaces/jbilcke-hf/clapper/tree/main
  • 試用網址：https://clapper.app/

如何使用

既然是開源工具，我們主要看的當然是具體好不好用。

還記得 AI 大牛 Karpathy 創作 AI 短影片的體驗嗎？為了將《傲慢與偏見》開頭的三句話變成動畫版，足足花了這位頂尖高手一個小時。雖然只有三句話，三個場景，但這個工作流遠比三句話要複雜。他先用 Claude 根據原文生成了一系列影像提示詞，再將這些提示詞輸入文生圖模型生成對應的影像，再交給影片模型製作動畫，配音的任務分配給了 Elevenlabs，最後在 Veed Studio 裡把所有片段整合起來。

於是，Karpathy 做完後發推吐槽，稱：「創業者們，機會來了！市面上急需一個能夠整合、簡化這些流程的 AI 工具。」

Clapper 正是一個整合了所有這些功能的一站式平臺。

圖片

通常想做一條短影片，需要經歷以下幾個步驟。首先需要一個故事和指令碼，然後根據指令碼畫出分鏡，再根據分鏡拍攝或尋找素材，將它們在剪輯軟體拼合起來，新增動畫效果和特效，再有選擇性地配上口播、背景音樂或音效。因此，影視製作行業中編導、導演、攝像、剪輯、後期、配音等分工應運而生。

而在 Clapper，影片製作遵循另一條邏輯。它的每條軌道不像 Premier、剪映等剪輯軟體一樣對應著影片或圖片素材，而是對應著一個具體的工種。

圖片 剪映的素材軌道

圖片 Clapper 的軌道

在用 AI 做影片這件事上，我們就是 AI 的甲方。Clapper 就像一個由業內最強的 AI 組成的劇組。Clapper 內建像 GPT-4o，Claude 3.5（Sonnet）等一系列「頂流」大模型。它就像乙方的執行導演一樣，負責將你的需求對接給對應的「AI 編導」。

圖片

從上面的圖中可以看出，第一條軌道代表著故事版，和 Clapper 內建的大模型對話，它將透過 API 調取文生圖模型，讓 AI 分鏡老師來生成對應的圖片，作為影片畫面的基礎。

圖片 透過 Clapper 可以訪問以上文生圖模型

以 Clapper 給出的樣片為例，接下來的軌道依次對應場景、旁白、攝像機的視角、背景音樂以及音效。你可以要求 ElevenLabs 或 Fal.ai 為這個西部廢土世界的故事生成一些廢墟的風聲或者槍戰的爆炸聲。

而 Clapper 還有一項功能，可能真的向「會說話就能拍電影」的願望邁進了一大步。我們可以直接向 Clapper 匯入劇本，並且在「故事」一欄細緻地為你的主人公創造人設。

圖片

以《綠野仙蹤》為例，我們不僅可以為人物新增更加個性化的人物描述，還可以上傳圖片，為女主人公多蘿西設定視覺形象。這意味著我們可以請世界上的任何演員來扮演這個角色，哪怕你想看 18 歲的小李子演多蘿西，都可以實現。Clapper 的功能細緻到你可以調整人物的年齡和音色，每個場景的陳設，多蘿西的房間有什麼傢俱，他們冒險的目的地「翡翠城」的房子長什麼樣子，都可以在 Clapper 中隨心調整。

圖片

當然，你也可以先用 AI 畫一些氣氛圖出來，說不定能更進一步地激發你的靈感和創意。

不過，雖然 Clapper 的功能已經充分地考慮了做影片的需求，但是它的效果卻有些差強人意。不僅畫面中人物的動作有些「鬼畜」，不符合物理運動規律。影片的整體效果更像是會動的 PPT，缺乏鏡頭之間的轉場和連續感，並且配樂也 AI 味十足，聽起來沒有旋律，還有些雜音。開源AI影片工具，你只需要當導演，HuggingFace工程師打造
可能生成式 AI 想要改變影片製作的流程，還需要很長時間，但 Clapper 的出現或許能給還在給傳統影片剪輯軟體擴充 AI 功能的大廠們，提供了一條新的落地思路。

參考內容：
https://news.ycombinator.com/item?id=41221399
https://x.com/aigclink/status/1818111874531205216

相關文章