清華創業團隊幫你造夢,Idea秒變微電影,最長可達數十分鐘!

机器之能發表於2024-04-02

機器之能報導

編輯:Cardinal

開創性地將多模型智慧體協作技術引入影片領域,只需要輸入一句話,Dream Factory 就會自動生成完整的劇本和影片。它是劇本作者,亦是影片導演。

AI 生成影片場景、情節單一是當下大模型的通病

隨著大模型的飛速發展,文字生成影片領域迅速火爆。然而,目前的文字生成影片通常是一句話生成單場景、單情節的影片,即使是頭部影片大模型釋出的東京佳人、雪地幼犬等影片 Demo,亦逃不開單場景、單情節的限制。在實際應用過程中,使用者更需要的是多場景、多情節、有故事性的影片,將文字生成多場景、多情節、有故事性的影片是該領域的必然發展趨勢。

圖片

讓大模型像一支團隊一樣協作運轉

每個大模型均為一個獨立的智慧體或“大腦”,隨著大模型的飛速發展,其正在為各行各業全面賦能。然而,在複雜任務中,大模型“單兵作戰”已經無法直接滿足需求,多模型智慧體協作框架的產生成為了新的解決方案。該框架使用智慧體協作/工作流技術擴充套件大語言模型的多模態能力,類似於現實社會的企業組織運轉,其打造了一支由多個大模型組成的 AI 團隊。

圖片

清華創業團隊幫你造夢,Idea 秒變微電影

來自清華創業協會的本科大四學生謝之非以及盧森堡大學博士研究員 Daniel Tang 等團隊開創性地將多模型智慧體協作技術引入影片領域,打造“ Dream Factory ”產品。透過對不同大模型賦予不同的角色和分工定義,建立高效協作的工作流,實現一鍵式將一句話生成多情節、多場景的“微電影”影片。只需要輸入一句話,Dream Factory 就會自動生成完整的劇本和影片。它是劇本作者,亦是影片導演。

情形一:輸入一句話或一段話,選擇所需的影片長度後,Dream Factory 將發揮自主創作能力,自動生成完整的劇本和影片。例如輸入“中世紀戰士打敗巨龍保衛家園”,生成的影片 Demo 如下:

清華創業團隊幫你造夢,Idea秒變微電影,最長可達數十分鐘!

影片連結:https://mp.weixin.qq.com/s/KYj-09JnfPsYjEgZM1W2ug

情形二:輸入一段固定文字,由 Dream Factory 將固定文字直接生成對應的影片,例如輸入一段演講稿後,生成的影片 Demo 如下:

清華創業團隊幫你造夢,Idea秒變微電影,最長可達數十分鐘!

影片連結:https://mp.weixin.qq.com/s/KYj-09JnfPsYjEgZM1W2ug

除了多模型智慧體協作技術,Dream Factory 還引入了全新的長短期記憶資料庫、數十個 Prompt 控制因子設計以及鏡頭-語音組合單元等技術,保持了大模型和影片的穩定性、前後統一性以及流暢性。Dream Factory 生成的影片長度最長可達到數十分鐘,保持場景、角色、主題的高度一致。目前,該團隊的相關論文即將釋出。

讓每個人都能一鍵式生成微電影

他們致力於透過AI重新定義影片製作,讓每個人都可以一鍵式製作動畫、短影片、宣傳片、微電影等,讓每個Idea都可立即成為Video,助力每一個創作的夢想。同時,這也是一個來自於清華學生創業團隊的夢。

讓每個人都能有一支自己的AI團隊

長遠來看,他們致力於打造大模型工作流平臺,透過將工作流模組化、標準化,使用者可以自定義工作流的運轉及各環節所需的智慧體,實現自定義的多模型智慧體協作。讓我們拭目以待!

瞭解 Dream Factory 後續進展,這裡有傳送門:http://dreamfactory.yaphet.cn/.

微博ID:DreamFactoryTech


相關文章