位元組音樂大模型炸場！Seed-Music釋出，支援一鍵生成高質量歌曲、片段編輯等

放假期間，本 i 人又領教了被 e 人支配的恐懼。

跟 e 人朋友出門玩，先被拉去飯局尬聊，再和陌生人組隊打本，下面這首歌真是唱出了 i 人心聲。後兩天假期就舒服多了。通關了黑神話悟空還不過癮，我在家補經典 86 版的《西遊記》。無論多少次重溫，還是會被大聖的魅力吸引。

Seed-Music 官網：https://team.doubao.com/seed-music

• 音樂訊號的複雜性：音樂訊號包含多個重疊音軌、豐富的音調和音色以及廣泛的頻率頻寬，不僅要保持短期旋律的連貫性，還要在長期結構上展現出一致性。
• 評估標準的缺乏：音樂作為一種開放、主觀的藝術形式，缺乏一套通用的問題表述和用於比較的黃金指標，評估侷限性大。
• 使用者需求的多樣性：不同的使用者群體，如音樂小白、音樂初學者、資深音樂人等，對音樂創作的需求差異很大。

面對這些挑戰，位元組 Seed-Music 採用了創新的統一框架，將語言模型和擴散模型的優勢相結合，並融入符號音樂的處理。

除領譜外，Seed-Music 也能直接調整歌詞或旋律。比如，“情人節的玫瑰花，你送給了誰 / 你送給別人”，歌詞修改前後，旋律保持不變，音樂的連貫性得以保持，過渡效果非常平滑。

輸入內容除了文字，也可以是音訊，它能基於原曲輸出續作或仿作。下面這首英文歌曲“搖身一變”，仿寫成了中文古風歌。

驚喜的是，Seed-Music 能將中文人聲輸入轉換為英文聲樂輸出，實現了跨語種人聲克隆，擴大了音樂小白們的創作空間。

• 論文：《Seed-Music: Generating High-Quality Music in a Controlled Way》
• 技術報告地址：https://arxiv.org/pdf/2409.09214

• 提出了一種基於新型 token 和語言模型（LM）的方法，並引入了一種能夠根據不同型別使用者輸入生成專業生成內容（PGC）質量音樂的訓練方法。
• 提出了一種全新的基於擴散模型的方法，特別適合音樂編輯。
• 引入了一種在歌唱聲音背景下的零樣本聲音轉換的新穎方法。系統可以根據使用者短至 10 秒的參考歌唱或甚至普通語音的音色生成完整的聲樂混音。

^{Seed-Music 架構}

• 音訊 token：通常以低於音訊取樣率的標記率學習，旨在有效編碼語義和聲學資訊，能輕鬆橋接不同模態，但不同音樂資訊高度糾纏，給生成器帶來挑戰。
• 符號音樂 token：如 MIDI、ABC 記號或鋼琴捲簾記號等，本質上離散，可被大型語言模型操作，具有可解釋性，便於使用者在輔助音樂創作中互動，但缺乏聲學資訊，依賴渲染器生成聲學細節。
• 聲碼器 latent：在探索基於擴散模型的音樂音訊生成中，可作為中間表徵，與量化音訊標記相比，資訊損失少、渲染器權重更輕，但生成器輸出不可解釋，且由於僅用波形重建目標訓練，可能不夠有效作為訓練生成器的預測目標。

^{Seed-Music pipeline}

• 基於音訊 token 的鏈路：包括 tokenizer、自迴歸語言模型、token 擴散模型和聲碼器，音訊 token 有效地儲存了原始訊號的顯著音樂資訊，語言模型根據使用者控制輸入生成音訊 token，token 擴散模型處理音訊 token 以生成具有增強聲學細節的音訊波形。
• 基於符號音樂 token 的鏈路：採用符號音樂 token 作為中間表徵，與音訊 token 基於的管道類似，但有一些區別，如 lead sheet tokenizer 將資訊編碼為 token，語言模型學習預測 lead sheet token 序列，lead sheet token 是可解釋的，並且允許在訓練和推理中注入人類知識，但擴散模型從 lead sheet token 預測聲碼器 latent 更具挑戰性，需要更大的模型規模。
• 基於聲碼器 latent 的鏈路：遵循透過 latent 擴散建模從文字直接生成音樂到聲學聲碼器 latent 表徵的工作，透過變分自編碼器和擴散模型將條件訊號對映到歸一化和連續的聲碼器 latent 空間。