以假亂真,天工音樂大模型帶來顛覆式AI體驗

新闻助手發表於2024-04-03

昨日,崑崙萬維AI音樂生成大模型「天工SkyMusic」開啟了免費邀測活動,誠邀媒體、行業專家以及感興趣的音樂從業者們共同體驗人聲情感表達 SOTA 的音樂大模型產品。

邀測開始後,廣大使用者對「天工SkyMusic」AI音樂生成大模型的熱情遠超我們的預期,工作人員在極短時間內收到了幾十萬份測試申請,其中包括眾多專業的音樂創作人、媒體及行業專家,還有大量測試申請被源源不斷地發至後臺。

同時,我們也收到了大量來自使用者的真實反饋與高度評價:

“人聲很清晰 抒情旋律也好”

“好聽!”

“這是天工做的??太厲害了!”

“《悟空》這首歌是演唱氣息感的,感情很到位,基本上代表了生成情感以假亂真的能力巔峰之作”

“天工SkyMusic在高音演唱技巧上超出我的想象,非常優秀。”

“太強了,1、AI音樂使用者群體非常大;2、生成的音樂可以反覆使用;3、很容易做社交裂變”

“副歌部分真絲滑,Beat真好”

“沒想到中國團隊做的東西比國外的好”

以假亂真,天工音樂大模型帶來顛覆式AI體驗使用者AI音樂生成作品

廣大使用者的熱情反饋既然讓我們看到了行業對於「天工SkyMusic」AI音樂生成大模型的高度期待,也讓我們看到了在以“智力”為主的AGI大模型探索方向中,“情感AGI”的重要意義。

相比文字和圖片,音訊內容是理解人類情感最好的方式,而音樂又是人類情感表達最充沛、最不受地域和文化限制的內容載體,不論時代變幻,不論是戰爭還是災禍,人們總是能透過音樂傳遞自己的感受並獲得情感的慰藉。這是「天工SkyMusic」的創作初衷,也是崑崙萬維情感AGI持續探索的重要方向。

我們感謝所有積極參與並熱情反饋的使用者們,感謝你們的支援、鼓勵與陪伴,我們將持續迭代、最佳化、拓寬「天工SkyMusic」的能力邊界,讓模型具備更強的多模態情感理解與表達能力,為使用者帶來更優質的AI音樂體驗。

最後,我們將很快給出「天工SkyMusic」音樂創作Prompt指南,並提供更多的AI音樂Demo與使用技巧,與使用者一同探索AI音樂的強大魅力!

關於「天工SkyMusic」與「天工3.0」

「天工SkyMusic」AI音樂生成大模型基於崑崙萬維「天工3.0」超級大模型打造。4月17日,「天工SkyMusic」將隨「天工3.0」同步開啟公測。

申請網頁:https://rg975ojk5z.feishu.cn/share/base/form/shrcnTcBRpGzv5Sx9xAGd5V97Md

「天工3.0」採用4千億級引數MoE混合專家模型,並將同步選擇開源,是全球模型引數最大、效能最強的MoE模型之一。相較於上一代「天工2.0」MoE大模型,「天工3.0」在模型語義理解、邏輯推理、以及通用性、泛化性、不確定性知識、學習能力等領域擁有驚人的效能提升,其模型技術知識能力提升超過20%,數學/推理/程式碼/文創能力提升超過30%。同時,「天工3.0」新增了搜尋增強、研究模式、呼叫程式碼及繪製圖表、多次呼叫聯網搜尋等能力,並針對性地訓練了模型的Agent能力,使得「天工3.0」能夠獨立完成規劃、呼叫、組合外部工具及資訊,以精準高效地完成產業分析、產品對比等各類複雜需求,帶來全新的顛覆式人工智慧體驗。

「天工SkyMusic」是目前國內首款且唯一公開可用的AI音樂生成大模型,其採用音樂音訊領域類Sora模型架構,Large-scale Transformer 負責譜曲,來學習 Music Patches 的上下文依賴關係,同時完成音樂可控性;Diffusion Transformer 負責演唱,透過LDM讓Music Patches被還原成高質量音訊,使得「天工SkyMusic」能夠支援生成80秒44100Hz 取樣率雙聲道立體聲歌曲。這套模型架構在處理影片、音訊和音樂領域效果極佳。崑崙萬維團隊也將在後續逐步迭代和新增新的能力,讓模型具備多模態的情感理解與表達能力。

「天工SkyMusic」測試申請網頁:https://rg975ojk5z.feishu.cn/share/base/form/shrcnTcBRpGzv5Sx9xAGd5V97Md

「天工SkyMusic」具有以下五大特點:

1. 高質量AI音樂

「天工SkyMusic」能夠生成80秒44100Hz取樣率雙聲道立體聲AI歌曲,並可根據使用者輸入的歌詞風格生成對應歌曲風格。

2. 人聲“以假亂真”

人聲合成是AI音樂生成中最重要、最能體現生成效果和品質的維度。「天工SkyMusic」的AI人聲合成能夠達到業內頂尖的SOTA水平,中文水平極為優秀,發音清晰、無異響。其中文演唱效果更是顯著好於國外產品,領先世界水平。

3. 歌詞段落控制

「天工SkyMusic」能夠透過歌詞來控制歌曲,讓生成的歌曲可以明確分辨出不同歌詞段落的情緒變化,體現出主歌和副歌、前奏和主歌的段落差異。

4. 多種音樂風格

「天工SkyMusic」支援說唱、民謠、放克、古風、電子等多種音樂風格,使用者在創作音樂時,可以透過參考音訊制定想要的音樂風格。

5. 音樂智慧表達 - 歌唱技巧學習

「天工SkyMusic」同時能夠學習如顫音、歌劇、吟唱、男女對唱,自動和聲等多種歌唱技巧,讓使用者創作的歌曲得到更恰當的情感表達。

2023 年,崑崙萬維在 “All in AGI 和 AIGC” 的戰略推動下,在人工智慧領域取得了許多進展,逐步形成了AI大模型、AI搜尋、AI音樂、AI動漫、AI 社交、AI遊戲等AI業務矩陣。

當前,崑崙萬維已打造了集AI搜尋、AI寫作、AI長文字閱讀、AI對話、AI語音合成、AI圖片生成、AI漫畫創作、AI圖片識別、AI音樂生成、AI程式碼寫作、AI表格生成等多項能力於一體的「天工3.0」多模態“超級模型”(Super Model),成為AI行業全新里程碑。

相關文章