崑崙萬維推出全球首款 AI 短劇平臺 SkyReels,「一人一劇」時代來臨

机器之心發表於2024-08-19

崑崙萬維推出全球首款 AI 短劇平臺 SkyReels,「一人一劇」時代來臨

8月19日,崑崙萬維釋出全球首個整合影片大模型與3D大模型的AI短劇平臺SkyReels。SkyReels平臺集劇本生成、角色定製、分鏡、劇情、對白/BGM及影片合成於一體,讓創作者一鍵成劇,輕鬆製作高質量AI影片。這是一個2分半時長的短劇作品。

「 我們應該放下固化和抵抗的思維,擁抱這個碎片化資訊時代。」 2023 年 12 月初,導演黃建新在北京電影學院北影大講堂上感慨,比起電影,豎屏短劇興起才真正形成了全球輸出。

幾分鐘到十幾分鐘的單集時長、強烈的娛樂性和快節奏劇情,頻繁踩中使用者「爽點」,短短三年(到 2023 年),中國短劇市場就達到了年度院線電影票房的七成。

與此同時,大量短劇獨立 APP 全球上線,中文線上的短劇軟體 ReelShort 在美國 iOS 排行榜上表現優異,甚至超越了長期霸榜的 TikTok, 實現破圈。

短劇已成為近年增長最快的影視領域之一,也成為新技術的試驗場。「一鍵翻譯」、「 AI 換臉」屢見不鮮,多家網文公司還發布可以輔助作者寫作的內容生成大模型。藉助 AI 大模型影片生成能力,以往三個月的短劇製作時間現在只需要半個月。

AI 創作的短影片片段,一經發布就能獲得百萬流量的加持,但一部 AI 全流程短劇製作還面臨不少挑戰。創作者需要在 ChatGPT、Midjourney、Runway、Eleven Labs、ComfyUi、Adobe、剪映等多個 AI 工具間反覆「橫跳」,作品效果仍差強人意。

在這樣的背景下,擁有十多年出海經驗的中國人工智慧科技企業崑崙萬維推出了世界首個 AI 短劇平臺 SkyReels——一個整合影片大模型與 3D 大模型的 AI 短劇平臺。這不僅是國產大模型在短劇領域的成功落地,也預示著「一鍵成劇」、「一人一劇」時代來臨。

同時,這一革命性的工具有望帶來 AI 短劇使用者生成內容( UGC )與專業使用者生成內容( PUGC )的爆發式增長,推動短劇內容創作與消費市場的進一步快速增長。

一、認識 SkyReels ——全球首款 AI 短劇平臺 崑崙萬維推出全球首款 AI 短劇平臺 SkyReels,「一人一劇」時代來臨

SkyReels產品操作Demo

開啟 SkyReels 網頁,立刻感到「AI 短劇」與其他 「 AI 創意」平臺的設計,很不一樣。

都是由 AI 驅動,但「 AI 創意」平臺以圖片、影片生成為主,SkyReels 則集劇本生成、角色定製、分鏡設計、影片拍攝與合成於一體, 完整複製了短劇工業化流程。

圖片

SkyReels 集故事創意、劇本生成、角色定製、分鏡設計、影片拍攝與合成於一體, 完整複製了短劇工業化流程。

短劇收視不「撲」,首先得有好創意,並將它具象成一個爽文劇本,這是最重要的。

雖說文字創作是大語言模型 LLM 的舒適區,SkyReels 的不同之處在於負責文字創作的大模型受過專業訓練,更懂怎麼寫出有「 爽點 」、帶流量的劇本。

只要輸入一個概念或故事創意,點選「創作型別」, 比如情感劇,系統會自動生成一份符合要求的劇本,結構完整、情節豐富。

使用者也可以上傳現成的劇本,讓 AI 幫忙潤色、最佳化,提升劇本的專業度和可讀性。

圖片

系統會根據創意提示自動生成一份符合要求的劇本,還會摘要出所涉人物小傳,為後面的角色設計做準備。

劇本有了 ,接下來就該「物色演員」,在 SkyReels 上,這個環節叫角色設計。

通常,我們會先讓 LLM 寫設計文字,再扔到 Midjourney 等文生圖工具,生成角色形象。要給角色新增配音,還要繼續召喚 Elevenlabs 等音訊工具。

現在,只需進入頁面輸入相應要求(包括角色配音),即可「一鍵生成」角色,大大提升了製作效率。

圖片

只需進入頁面輸入相應要求(包括角色配音),即可一鍵生成角色。

進入拍攝之前,除了物色演員,導演還要製作分鏡。 所謂分鏡,主要是將整個故事分解成一系列連續的畫面,每個畫面都代表一個特定的場景或動作。

圖片

吉卜力工作室的《千與千尋》分鏡圖。

沒有美術背景的導演,要在繪畫師的幫助下完成分鏡設計,非常麻煩。現在,他們可以讓 LLM 生成分鏡頭的文字指令碼,再用 Midjourney 等工具畫出分鏡圖。

但是,這種方法的弊端也明顯,很難保證角色、場景的前後一致性。比如,央視 AI 頻道上線的 AI 全流程微短劇《女媧》中,女媧每次出現,長得都不太一樣,好像有幾個女媧。

在 SkyReels 上,AI 會根據劇本內容,一鍵生成分鏡圖片和對應的文字指令碼,僅需等待 1-2 分鐘即可檢視每個鏡頭的效果。不滿意,還能透過修改文字(如場景或人物動作),調整分鏡效果。

更重要的是,在自研技術支援下,分鏡圖片不僅高畫質、細節豐富,角色、場景在不同分鏡中都能保持一致性和連續性。

圖片

AI 會根據劇本內容,一鍵生成分鏡圖片和對應的文字指令碼。

分鏡設計好了、演員就位後,就要進入「 實拍」階段。 目前,AI 影視發展最大的瓶頸也在這裡,因為能用的好「攝像機」太少。

常見做法是用 Pika、Runway 生成動態效果,但槽點很多。 比如, 畫質糟糕、角色動作幅度小甚至不合理(吃麵問題),還容易出現場景不一致,有時車輛在運動但車輪不轉,水流時水花在動水面卻是靜止的。人物說話口型對不上,表情也僵硬。

透過 AI 3D 引擎與影片大模型的結合,SkyReels 能將分鏡自動轉換為連續影片,生成的場景和人物更加生動、一致,還支援 1080P 60 幀影片輸出,煲劇體驗也有保障。

另外,單次可生成影片長度達 180 秒,相比 Sora 單次可生成 60 秒影片、可靈單次可生成 10 秒影片,有顯著突破。

圖片

SkyReels能將分鏡圖自動轉換為連續影片。

最後,所有流程成果可一鍵整合,快速生成最終短劇。AI 還會根據劇本題材與具體場景生成並推薦合適的背景音樂和音效,使用者也僅需一鍵新增。

圖片

背景音樂和音效也可一鍵新增。

圖片

支援一鍵匯出成片,並可一鍵釋出至抖音等社交媒體平臺。

圖片

支援角色設計的一鍵分享。

二、「 一鍵成劇」背後,三層技術創新

三層技術創新,如三根支柱,支稜起 SkyReels 「 一鍵成劇」:

自研劇本大模型 SkyScript、自研分鏡大模型 StoryboardGen,以及業界首個將 AI 3D 引擎與影片大模型深度融合的創新平臺 WorldEngine。

劇本大模型 SkyScript 負責拿捏短劇的「 靈魂」——劇本。事實上,不僅是劇本,文字大模型也是整個創作流程的支撐。

有些微短劇編劇嘗試過利用 ChatGPT 生成劇本,但發現最終的結果缺乏情感張力和劇情變化,只是堆砌了一些平面的文字。崑崙萬維構建了億級的高質量短劇結構化資料集 SkyScript-100M ,該資料集針對海量精彩短劇的劇情節奏、爽點、情緒變化進行了高質量標註,專為劇本創作而生。

圖片

SkyScript劇本大模型技術原理圖

圖片

SkyScript劇本大模型的分鏡指令碼生成原理。

比如,除了從海量資料中學習創作的基本原理和通用模式,要爆款,還要摸清一些百試不爽的「套路」。 觀眾往往對快節奏、強烈衝突、懸念迭起、多次反轉的劇情設計有明顯偏好;逆襲改命、霸總嬌妻、豪門宅鬥、穿越重生、吸血鬼、狼人等主題,也是百看不厭。

圖片

ReelShort爆款短劇《The Double Life of My Billionaire Husband》為先婚後愛,單集約1分30秒,截至第12集左右,男女主在密集的劇情交集中,迅速完成了感情升溫,且涵蓋了惡毒女配、契約婚姻、英雄救美、 財產爭奪等情節。來自國海證券中國短劇出海深度報告。

透過精心標註的故事中能引起觀眾強烈興趣的「爽點」,如主角外貌、鏡頭構圖、貫穿人物表達的情緒, SkyScript 學會了關注並生成這些細節。

在模型架構上,為了確保生成內容的專業度和可控性, SkyScript 也採用了多智慧體框架。透過「創意人」、「選角導演」、「編劇」、「小說作者」、「導演」等智慧體的協作,模仿工業製作流程,完成劇本創作。

圖片

劇本大模型 SkyScript 的質量評估情況。

短劇,說到底,是一種視覺語言的呈現,因此,另外兩層創新—— 分鏡 StoryboardGen、 WorldEngine —— 聚焦短劇的「血肉」,也就是拍攝。

和 SkyScript 一樣,自研分鏡大模型 StoryboardGen 也接受了真實世界中高質量、專業分鏡例項訓練,專為分鏡設計而生,也與通用類影像生成模型拉開了距離。

同樣,基於多智慧體框架,將分鏡的不同元素(場景、鏡頭、角色、動作等)分解為多個智慧體來處理,大大增強了分鏡製作過程中的可控性和一致性。

圖片

分鏡大模型 StoryboardGen 的技術原理圖。類似於電影拍攝、動畫製作,基於多智慧體框架的 StoryboardGen 將整體流程分解成了多個 agent,每個 agent 負責某個專項能力,增強分鏡製作過程中的可控性和一致性。

假設有一個劇本,裡面描述了一個場景,比如一個人在公園裡散步。

LLM Planner 會先把這個劇本拆解成兩部分。

其中,全域性描述( global prompt ):「一個人在陽光明媚的公園裡散步」;

區域性描述( local prompt ):「這個人是中年男性,穿著休閒裝,手裡拿著咖啡杯,步伐悠閒。」

在生成環節,不同智慧體各司其職,如場景智慧體根據全域性描述生成公園的背景、佈局等;角色智慧體根據區域性描述生成男性角色的形象和動作。

最後由 Storyboard 智慧體將這些生成的內容整合起來,根據所有的描述資訊和條件,生成最終的分鏡圖。

圖片

分鏡大模型 StoryboardGen 質量評估情況。

除了可控和一致性,為了讓分鏡畫面更具表現力,StoryboardGen 還大幅提升了畫面的複雜程度和細節精度。

如,StoryboardGen 採用了基於 DiT 的漸進式生成框架,透過多次修改和完善來創作最終的影像。相比傳統的一次性生成模型,這種框架能夠充分利用中間過程產生的資訊,生成質量更高、視覺效果更豐富的分鏡。

第三層技術創新是一個創新平臺 World Engine ,在業界率先將 3D 生成技術與影片生成技術,透過圖層融合等方式,無縫銜接在一起,相當於為創作者提供了一部強大的「攝影機」甚至「影棚」。

WorldEngine 結合了引擎的精確可控能力(如光照模擬、物理模擬、3D 空間、實時互動等) 以及 AI 影片大模型的幻想生成能力,提供了全新的線上混合影片創作模式,讓影片創作從模糊生成邁向更加精確可控。

假設你正在製作一個場景,一隻皮卡丘在噴泉下玩得很開心,可以讓 Sky3DGen 創造出精確的噴泉場景;同時讓影片大模型生成逼真的皮卡丘。 崑崙萬維推出全球首款 AI 短劇平臺 SkyReels,「一人一劇」時代來臨

混合生成影片案例

我們知道,Sora 等影片大模型可以輕而易舉地生成遊戲引擎難以匹敵的、幾乎真實的效果,並且充滿想象力,但它們不懂物理世界,無法準確模擬一些最基本的物理互動,如玻璃破碎、吃麵等。

而遊戲引擎的優勢在於其對現實物理規律的精準模擬。透過複雜的數學模型,它能創造出時空連貫、符合客觀規律的虛擬環境,不僅確保了渲染結果的一致性和可預測性,還展現了對三維空間的深刻理解。

作為中國最大的遊戲開發和運營企業之一,崑崙萬維自研 Sky3DGen 大模型,並與影片大模型「優勢互補」,為創造者提供了一種全新的混合創作模式,也就不算意外。

在 SkyReels 上 ,你可以變化出各種 3D 場景和造型,甚至人物表演。 崑崙萬維推出全球首款 AI 短劇平臺 SkyReels,「一人一劇」時代來臨 3D 道具影片生成案例 崑崙萬維推出全球首款 AI 短劇平臺 SkyReels,「一人一劇」時代來臨 3D 場景影片生成案例 崑崙萬維推出全球首款 AI 短劇平臺 SkyReels,「一人一劇」時代來臨

人物表演是短劇的核心之一, 崑崙萬維自研了 ActorShow 人物表演生成模型有更強的口型表情和肢體動作的可控生成能力。

圖片

人物表演生成模型的質量評估情況。

創作過程中,使用者還能自由定義 3D 虛擬拍攝影棚。

今天想拍攝在沙漠中的故事?點選幾下,整個場景就變成了廣袤的沙漠。明天要拍攝在宇宙空間站?再點幾下,周圍就變成了高科技的空間站內部。

你甚至可以在搭建的虛擬攝影棚裡,放置和移動虛擬攝像機,嘗試各種拍攝角度。調整光線、新增特效,得到非常專業的拍攝效果。

由於引擎的使用,與傳統的影片生成相比,WorldEngine 在成本上實現了革命性的下降,同時,生成速度、可控性都提升了數個量級。

三、押注 AI UGC ,再上牌桌

AI 短劇平臺 SkyReels ,是崑崙萬維 AI 應用層產品矩陣中的最新成員。

在此之前,他們已經成功構建了包括 AI 搜尋、AI 音樂、AI 影片、AI 社交、AI 遊戲等在內的多元產品陣列,部分業務已實現商業化落地。

作為最早開拓全球市場的中國企業之一,憑藉十多年的內容與娛樂賽道經驗,崑崙萬維已經洞察到 UGC(使用者生成內容)平臺在內容和遊戲領域一直保持長盛不衰的態勢,也預測到 AIGC 的介入,不僅讓網文、短劇、動畫、遊戲的 IP 創作手段更加多樣化,更關鍵的是大幅降低了內容創作的門檻。

正如業內所言,「生產內容的門檻每降低一倍,創作內容的人數就會增長十倍」,這預示著巨大的市場機遇。

因此,崑崙萬維致力於打造一個以 IP 為核心的綜合 UGC 平臺,讓所有使用 AI 進行創作的使用者都能在其中完成 IP 的全閉環。他們深知,一個能夠隱藏所有技術細節、實現端到端內容生成的工具,才真正具有商業價值,這也正是 SkyReels 等「一鍵生成」式產品的深層邏輯

除了在上層打造 AI UGC 平臺,在底層,崑崙萬維還致力於開發通用大模型的底座。這源於一個簡單又深刻的洞察:從技術角度來看,人類的智慧是以文字形式沉澱下來,所有的社交、遊戲、音樂跟影片的專屬模型,都離不開文字大模型的能力支撐。

崑崙萬維自研的天工大模型已迭代至 3.0 版本。「天工 3.0 」採用 4,000 億引數 MoE 架構,是目前全球模型引數最大、效能最強的開源 MoE 模型之一。在 MMBench 等多項權威多模態測評結果中,「天工 3.0 」超越 GPT-4V ,多項評測指標達到全球領先水平。

有了夯實的通用大模型底座,崑崙萬維又一步步朝著內容和娛樂領域,橫向延伸模型能力——從音樂、文生圖、影片生成到短劇生成,相繼推出 SkyMusic AI 音樂大模型、Skywork-MM 多模態大模型、SkyScript 劇本大模型、 StoryboardGen 分鏡大模型、 Sky3DGen 3D 大模型等。

崑崙萬維董事長兼 CEO 方漢曾經預言,就像攝像頭帶來了拍攝方式的革命,催生出抖音、快手等巨量短影片平臺一樣,AI 也將催生大量新的 AI UGC 平臺。他堅信,只有「免費+ to C 」的模式,才能在 AI 時代孕育出真正的巨頭企業。

對於深具 2C 基因的崑崙萬維而言,AIGC 的興起無疑是一次難得的機遇。這個一直夢想成長為領先的人工智慧科技公司的企業,原本以為已經錯過登上牌桌的機會,卻沒想到 AIGC 又為他們敞開了一扇新的大門。厲兵秣馬,他們正全力以赴。

內測申請地址:https://skyreels.ai/beta

相關文章