智影AI故事轉影片創作神器!快速開啟AI繪畫小說推文之旅

niaonao發表於2024-05-28

1.前言

1.1 生成內容形式

生成內容形式主要包含三種,PGC(Professionally Generated Content)、UGC(User Generated Content)、AIGC(Artificially Intelligent Generated Content)。也可以簡單理解為生成內容形式的三個發展階段。

  • PGC 專業生成內容

專業生成內容是由專業人士創作編輯釋出內容。

簡單來說是文章要由作者創作,新聞要由記者創作,專業的人創作內容。

該形式起源於傳統媒體時代,例如報紙、雜誌、電視、電影等。

  • UGC 使用者生成內容

使用者生成內容是由普通使用者創作編輯釋出內容。

簡單來說就是每個人都可以創作內容,透過網際網路釋出文字、影片、音訊等內容。

是網際網路趨勢下的一種內容生成方式,對傳統營銷、廣告、媒體等產業產生了重大影響。比如自媒體博主等。 優點是創作門檻低,內容更加個性化,缺點是資訊氾濫,質量不一,監管難度大等。

  • AIGC 人工智慧生成內容

人工智慧生成內容是AI創作生成內容。

簡單來說就是已經發展到我們看到的內容可能就是AI製作的。

是人工智慧發展階段下的一種新型內容生成方式。利用自然語言處理技術與AI技術來生成內容。比如ChatGPT、PiKa、Sora、文心一言等。

應用範圍廣泛,發展到今天,已經支援多模態AI,允許輸入文字、圖片、影片等多種媒體素材,經由AIGC處理輸出生成想要的文字、圖片、影片、音訊等內容。

1.2 小說推文說明

2021年起,市場開始探索小說推文,透過爆火小說,藉助抖音、小紅書、bilibili等平臺釋出小說推文影片,推流達到吸粉,引導付費的模式實現盈利,逐步發展趨於穩定盈利。

2023年是小說推文的爆發期,加上火爆的ChatGPT、Midjounery、TTSMAKER、剪映等平臺支撐,形成了一套完善的生成式AI鏈路。極大的降低了小說推文製作門檻,且據統計當時隨便製作一個推文影片,播放量基本上在20W左右。

2024年Sora釋出的文生影片大模型,給國內外帶來了極大震撼,時長接近1分鐘,影片畫質接近電影級。讓人感嘆AI已經發展到,快要不易區分人工製作內容和AI製作內容。同時也讓國內感受到和國外在人工智慧領域的差距。

2.產品介紹

本期說下國內小說推文工具,不是那種素材混剪的工具,而是藉助多模態生成式AI,具備文生圖、圖生影片、文生影片能力的工具。

比如騰訊動態漫畫、AI劇本、瓦兔推文、極虎漫剪、推文助手、智影AI等工具。

這些工具大都支援文生圖能力,但支援圖生影片能力僅騰訊動態漫畫、智影AI。動態漫畫生成分鏡圖片後,有個一鍵動效功能,允許將圖片生成2s時長的影片。智影AI有一個動態影片功能,允許將圖片生成4s的影片。

2.1 產品說明

智影AI官方地址,點選體驗

一款小白也能輕鬆製作故事轉影片的AI創作神器。

2.2 功能說明

  • 拆分文案

產品能夠對故事文案進行拆分鏡頭,提取故事中的角色和場景;並自動繫結角色/場景和分鏡鏡頭,達到角色場景一致性。

藉助ChatGPT分析文案拆分分鏡,提取角色場景。

  • 角色/場景建立

角色/場景支援新建編輯;支援調整角色描述重新生成角色圖片。

  • 分鏡管理

支援對分鏡批次繫結關聯角色/場景;鏡頭支援新建編輯;支援修改分鏡描述重新生成分鏡圖片;支援分鏡圖片生成4s的動態影片。

藉助Fooocus(已支援)、Midjounery(規劃中)文生圖能力,根據文字描述AI繪圖。

藉助Stable Diffusion Video(已支援)、PiKa(規劃中)圖生影片能力,根據分鏡圖片AI生成影片。

  • 合成影片

允許選擇背景音樂,解說音色,解說語速等;允許對字幕、標題調整字號、粗體、下劃線等、支援配置花字效果。

藉助剪映、阿里雲影片合成,拼接音訊、字幕、影片、圖片製作影片

3.推文影片製作

3.1 新建小說

填寫小說名稱、選擇畫面風格、小說型別,點選確定新建小說。

一組鏡頭可以合成一個影片。這一組鏡頭構成一個作品。多個作品構成一個小說。

3.2 新建作品

填寫作品名稱、選擇解析度、選擇是否開啟動態影片,預設不開啟,點選確定新建作品。

3.3 拆分文案

貼上複製過來故事文案,此處是透過文心一言生成的300字左右的故事文案。點選拆分文案拆分分鏡,自動提取角色場景,並自動繫結角色場景到分鏡。

3.4 角色/場景建立

智影AI會自動提取角色場景,如果AI提取存在漏提或誤提的情況,可以手工維護角色/場景,新建或重新生成角色圖片。

確認角色場景後,可以點選下一步,提示是否跳過一鍵生圖。不跳過則自動生成分鏡圖片。跳過則不自動生成分鏡圖片,手工生成。此處點選確定,使用一鍵生圖功能,希望自動生圖。

3.5 分鏡管理

上一步不跳過一鍵生圖,會自動對分鏡提交生成圖片任務。

如果上一步跳過一鍵生圖,也可以進入到分鏡管理步驟後,維護好分鏡資訊,再點選一鍵生圖按鈕即可。或者手工對單個鏡頭右側編輯區域,點選重新生成圖片按鈕重新生圖。

待圖片任務全部生成完成,可以點選合成影片進入下一步。

3.6 合成影片

合成影片可以選擇背景音樂、解說音色、字幕標題等配置,點選合成影片等待影片合成。

在小說作品列表可以檢視作品合成影片效果。

4.高階功能說明

4.1 角色/場景一致性

角色一致性,對於以上示例,因為用的形象是蝙蝠俠,AI對蝙蝠俠其實是有很多知識儲存的,所以在角色一致性上表現良好。

對於AI不知道的角色,透過AI工具實現角色一致性就比較困難了。同樣的文案描述,在多次生成結果上無法保證角色形象一致,場景一致。

此處提供角色場景繫結功能,來間接實現角色場景一致性。

在分鏡管理下,允許對單個鏡頭進行角色場景繫結。也提供了批次操作,對於分鏡較多的作品,避免重複操作提升效率。

4.2 重新生圖

  • 重新生圖

對於一鍵生圖效果不好的情況下,或者重新調整關聯角色場景後的分鏡,可以修改分鏡描述重新生圖。

  • 生成相似圖

生成相似圖,利用以圖生圖能力,生成相近效果的圖片,可以用作微調。

  • 上傳分鏡圖片

開放了上傳分鏡圖片的功能,更加的靈活,允許設計師上傳自己做的圖片,如果認為AI繪圖效果不好,或者根據AI繪圖本地調優後,可以上傳覆蓋。

  • 替換當前圖片

歷史圖片可以看到生成過的圖片,多次生圖可以選擇效果較好的一張,替換當前圖片作為分鏡圖片。

  • 放大1.5倍、放大2倍

支援放大1.5、放大2倍,使得圖片解析度清晰度更高。可以在選定分鏡圖片後,放大圖片質量用於合成影片,保證影片質量。

4.3 合成影片

  • 轉場、特效、音色

支援對分鏡配置轉場特效,也可以配置全域性預設轉場特效。單分鏡支援配置多情感音色,間接實現了多角色多音色功能。

  • 上傳背景音樂

系統提供的背景音樂無法滿足所有使用者的真實需求,允許上傳個性化的背景音樂。

  • 字幕標題花字效果

字幕標題支援花字、字號、粗體、斜體等配置。標題非必填。

4.4 動態影片

啟用動態影片,支援將分鏡圖片轉換為影片內容。

對於開啟動態影片能力的作品,在分鏡圖片調整完成後,點選一鍵生成影片,可以對分鏡圖片生成4s的影片。

允許除錯圖生影片引數,與圖片的一致性、運動強度、種子等引數,重新生成影片。

開啟動態影片能力的作品,在合成影片時,將採用分鏡影片素材代替分鏡圖片素材來合成影片,合成推文影片效果更佳。傳統的圖片就是PPT播放效果,動態影片就是真正意義上的影片了。

擴充套件:Sora、PiKa、Runway、SVD等AI影片能力,也是未來AI電影、AI廣告、AI新聞等產業的發展方向。
Sora官網:openai.com/sora
PiKa官網:pika.art
Runway官網:runwayml.com
Stable Video官網:stablevideo.com
Fooocus官網:fooocus.cc
MidJounery官網:midjourney.com

相關文章