這款AI神器一個月更新3次,我們用它搞了個動漫風《玫瑰的故事》

机器之能發表於2024-06-25
機器之能報導
編輯:楊文
以大模型、AIGC為代表的人工智慧浪潮已經在悄然改變著我們生活及工作方式,但絕大部分人依然不知道該如何使用。

因此,我們推出了「AI在用」專欄,透過直觀、有趣且簡潔的人工智慧使用案例,來具體介紹AI使用方法,並激發大家思考。

我們也歡迎讀者投稿親自實踐的創新型用例

AI 影片圈子正卷生卷死。

前兩週,快手可靈、Luma、Runway 互相掄大錘,讓 AI 影片陷入「累死自己卷死同行」的膠著局面。

圖片

這周,AI 動漫轉繪應用也發力了,無論是 Domo AI 推出融合風格功能,還是阿里巴巴開源類似專案 Diffutoon,均在社交媒體上引發關注。

截至目前,Diffutoon 專案已在 GitHub 上斬獲 1.7k 顆星。

圖片


-1-

一個月更新3次,還上線了網頁版

DomoAI 是一款 AI 動漫轉繪工具,由映刻科技推出,主要用於將圖片和影片轉化為動漫風格。

整個 6 月份,DomoAI 都在馬不停蹄地更新:

6 月 22 日上線融合風格,允許使用者透過提示詞自定義影片的風格、角色形象和環境;

這款AI神器一個月更新3次,我們用它搞了個動漫風《玫瑰的故事》

6 月 14 日推出「Subject Only」功能,使用者可根據需要僅改變主角風格;

這款AI神器一個月更新3次,我們用它搞了個動漫風《玫瑰的故事》

影片連結:https://mp.weixin.qq.com/s/gmAM7rc4LpSzprmCp7O_Lg

6 月 7 日新增三種模型風格 —— 文藝復興風格、素描動漫風格、故事書風格。

這款AI神器一個月更新3次,我們用它搞了個動漫風《玫瑰的故事》

影片連結:https://mp.weixin.qq.com/s/gmAM7rc4LpSzprmCp7O_Lg

DomoAI 還提供多種其他功能,如文生圖、動漫影像真人化等。

  • 文生圖:使用者可以透過輸入文字提示詞快速生成繪畫和藝術作品。

  • 動漫影像真人化:一鍵將動漫影像轉換為真人風格。

  • 角色動態:上傳一張人物影像和一個動作影片,DomoAI 可以讓影像中的人物做出同樣的動作。

  • 口型同步:能夠精確同步人物說話時的唇部動作,目前僅支援浮世繪、日式動漫、黏土卡通風以及 3D 卡通風格四種風格。

    這款AI神器一個月更新3次,我們用它搞了個動漫風《玫瑰的故事》

影片連結:https://mp.weixin.qq.com/s/gmAM7rc4LpSzprmCp7O_Lg

此外,5 月中旬,DomoAI 正式上線網頁版,使用者們再也不用趴在 Discord 社群中一遍遍呼喚小機器人了。


-2-

一手測評:效果還行,免費體驗額度太少

目前,DomoAI 既可在網頁上使用,也可以在 discord 社群中免費體驗。
其玩法很簡單,我們就以網頁版為例。
第一步:訪問 DomoAI 的官網,使用谷歌郵箱登入,然後點選「Try on website」。

圖片

連結https://domoai.app/

DomoAI 主要有四大功能,包括 AI 轉繪、圖生影片、文生圖以及角色動態。

第二步:我們點選「Video」圖示,進入操作介面。

圖片

第三步:上傳影片並輸入提示詞。

需要注意的是,上傳的檔案大小不超過 50MB,影片不超過 60 秒。

例如,我們上傳了《玫瑰故事》裡劉亦菲的一段影片,輸入提示詞「女孩邊走邊看」。

接著,選擇 AI 模型並調整引數。

DomoAI 提供 34 種風格,涵蓋素描風、日本動漫風、粘土風等。我們選擇了文藝復興風格。

影片長度選擇預設的 3 秒、參考選擇更偏原片,長寬比選擇自動。

如果只想轉繪畫面主角、保留背景,則可以開啟「只畫主體」功能。

圖片

等待大約三分鐘,即可生成一段3秒的影片。我們來看一下效果:

這款AI神器一個月更新3次,我們用它搞了個動漫風《玫瑰的故事》

這款AI神器一個月更新3次,我們用它搞了個動漫風《玫瑰的故事》

這款AI神器一個月更新3次,我們用它搞了個動漫風《玫瑰的故事》

影片連結:https://mp.weixin.qq.com/s/gmAM7rc4LpSzprmCp7O_Lg

不過,不管是網頁版還是 Discord 社群,新註冊使用者只有 15 個免費積分,生成一個 3 秒影片就用完了。如果需要更多服務,則需要付費。
圖片


-3-

捲起來!阿里開源 Diffutoon

實際上,阿里巴巴也悄咪咪的涉足該領域。

最近,阿里巴巴和華東師範大學聯合開源了 Diffutoon。這是一種卡通渲染技術,可以將逼真的影片轉換成動畫風格,而且能夠處理高解析度、長時長的影片,還可以根據提示來編輯內容。

  • 程式碼:
https://github.com/modelscope/DiffSynth-Studio/tree/main/examples/Diffutoon

  • 論文:
https://arxiv.org/abs/2401.16224

  • 地址:
https://ecnu-cilab.github.io/DiffutoonProjectPage/

具體來說,它利用擴散模型將現實風格的影片轉換成動畫風。這種轉換不僅包括顏色和紋理的變化,還涉及對光影、輪廓等元素的藝術化處理,以模仿手繪動畫的視覺效果。

這款AI神器一個月更新3次,我們用它搞了個動漫風《玫瑰的故事》

影片連結:https://mp.weixin.qq.com/s/gmAM7rc4LpSzprmCp7O_Lg

同時,它透過特定的演算法和技術,確保影片序列中的每一幀在風格和內容上保持一致性,避免了影片播放時可能出現的閃爍、顏色突變或內容不連貫的問題。

這款AI神器一個月更新3次,我們用它搞了個動漫風《玫瑰的故事》

影片連結:https://mp.weixin.qq.com/s/gmAM7rc4LpSzprmCp7O_Lg

此外,它還具備自動著色功能,能夠根據影片內容和風格要求自動選擇合適的顏色進行填充。

這款AI神器一個月更新3次,我們用它搞了個動漫風《玫瑰的故事》

影片連結:https://mp.weixin.qq.com/s/gmAM7rc4LpSzprmCp7O_Lg

為了展示自家技術過硬,研發團隊還將 Diffutoon 與市面上的競品進行了對比,其中就包括 DomoAI。
真是「撞衫」不可怕,誰醜誰尷尬。
以後我們會透過新專欄帶來更多 AIGC 案例演示,也歡迎大家進群交流。

圖片


相關文章