本文分享自華為雲社群《兒童節變身小小音樂家,用ModelArts製作一張AIGC音樂專輯》,作者: 華為雲社群精選。
兒童節,如何給小朋友準備一份特別的禮物?
這份AIGC音樂專輯製作攻略一定要收下
一段文字靈感就能編織出一曲悠揚悅耳的旋律
童話、夢幻、探險……
任何關鍵詞都可以成為音樂的創意基石
在華為雲ModelArts上,簡單4步
小朋友就可以化身為“小小音樂家”
開啟一場奇妙的AI音樂創作之旅
感受AI魔法編織的奇妙音樂體驗
一、🎵文字生成旋律,變身小小作曲家
我們的AIGC專輯製作先從文字生成旋律開始,基於華為雲ModelArts,無需考慮計算資源、環境的搭建,就算不懂程式碼也能用AI將簡單的文字變成音樂旋律。
ModelArts是面向開發者的一站式 AI 開發平臺,為機器學習與深度學習提供海量資料預處理及互動式智慧標註、大規模分散式訓練、自動化模型生成,及端-邊-雲模型按需部署能力,幫助使用者快速建立和部署模型,管理全週期 AI 工作流。
為了讓開發者在雲上直接進行AI應用的開發,ModelArts提供CodeLab的開發方式,它類似一種雲上編譯器,可以直連雲端算力,且每天都會提供免費算力資源時長,即開即用,非常便利。(注:本文所有案例均可在CodeLab中直接開發)
本案例使用的是開源模型MusicGen,它可以根據文字描述或者已有旋律生成高質量的音樂(32kHz),原理是透過生成Encodec token然後再解碼為音訊。
利用EnCodec神經音訊編解碼器來從原始波形中學習離散音訊token。EnCodec將音訊訊號對映到一個或多個並行的離散token流。然後使用一個自迴歸語言模型來遞迴地對EnCodec中的音訊token進行建模。生成的token然後被饋送到EnCodec解碼器,將它們對映回音訊空間並獲取輸出波形。最後,可以使用不同型別的條件模型來控制生成。
具體操作步驟如下:
第一步:準備賬號, 註冊華為雲賬號並完成實名認證,開啟音樂之旅!
第二步:👉 訪問頁面, 點選「ModelArts中執行」按鈕,進入到ModelArts CodeLab執行環境中。選擇限時免費執行環境,切換所需Kernel,一鍵執行程式碼。
第三步:切換執行環境, 選擇限時免費的GPU-P100規格,目前每個使用者每天可以享受3小時的免費時長。然後點選程式碼塊前面的三角形執行按鈕,即可自動執行,完成模型的載入。
▲ 切換執行環境
▲ 點選三角形按鈕執行程式碼
第四步: 依次執行完程式碼後,修改輸入的Prompt, 比如“一首充滿著夢幻和童真的歌曲”,即可生成符合提示詞的音樂旋律,並支援直接下載。
▲ 修改提示詞
▲點選下載生成的音樂旋律
同時,ModelArts還支援視覺化的Gradio介面展示,可以將生成的頁面地址分享給其他人,讓他們直接填入提示詞,自定義旋律的時長,快速創作一首獨一無二的歌曲。
▲ 單獨的視覺化介面
二、✍️AI作詩,為旋律作詞
古有曹植七步成詩,今有AI自動作詩。參考“文字生成旋律案例”的步驟,👉 點選連結 選擇在ModelArts中執行,進入到ModelArts CodeLab環境,然後切換資源規格,依次執行程式碼,並在下圖的畫框處填寫詩句的第一個字,3秒鐘就能生成相關的詩句。
三、🎨AI作畫,為音樂製作專輯封面
最後是專輯封面環節,👉 點選連結 進入“AI作畫-文字生成圖片Stable Diffusion”案例頁面,選擇在ModelArts中執行,進入ModelArts CodeLab,將執行環境切換成GPU的規格,模型生成影像所用的時間會更短。
這個案例主要基於文字轉影像模型Stable Diffusion來實現,它透過LAION-5B子集大量的512x512圖文模型進行訓練,所以只要簡單的輸入一段文字,Stable Diffusion就可以迅速將其轉換為影像。
同之前的兩個案例,依次執行程式碼,在Prompt的劃線處填寫與音樂旋律相匹配的提示詞,建議先用中文描述,再用翻譯軟體轉換為英文,這樣生成的圖片會更加精準。
🎹結語
至此,從曲子、歌詞到封面,一張AIGC專輯應運而生。你不必是精通音符的大師,也無需深諳樂理,只需一鍵啟動ModelArts,每一次靈感閃現,都會化作獨一無二的旋律流淌而出。
快來華為雲ModelArts試試神奇的“AI音樂魔法”,體驗創作的樂趣,讓小小音樂夢想照進現實!🎶
點選關注,第一時間瞭解華為雲新鮮技術~