音訊製作的現狀與發展趨勢

內容來源：華為開發者大會2021 HMS Core 6 Media技術論壇，主題演講《音訊製作的現狀與發展趨勢》。

演講嘉賓：華為音訊演算法研究高階工程師

大家好！我是來自華為音訊工程部的工程師。今天很高興跟大家分享關於音訊製作的現狀以及我們所理解的音訊發展趨勢。

從留聲機、黑膠唱片到MP3、CD，音訊已經發展了很多年，並且一直以來都沿著兩條比較大的主線進行發展。一個是超高畫質的發展方向，音訊的數字品質越來越高，位元速率越來越低。現在對於人類來說的音訊範圍在20到22赫茲，17K以上的音訊基本上聽不到了。

另外一個發展方向就是我今天要說的主題——沉浸式。

最開始音訊的錄音和回放都受到一定的限制，剛開始是單聲道，單聲道的意思就是聲源從一個點飛過來，不會涵蓋太多的內容，稱之為點聲源。到立體式和雙聲道的時代，又透過給左右聲道賦予不同的內容，來呈現更多的空間感和故事感，在過去60、70年代有很多前沿的樂隊都在用雙聲道給使用者帶來不一樣的體驗。

後來從環繞聲到三維聲，增加的內容不僅僅是左右聲道的內容，而是從前後左右甚至是上下的方向都有不同的聲源傳入耳朵裡，這樣，使用者就會有更大的空間來編輯他們的聲源，使用者也有更多的沉浸感。

現在越來越多音樂人用三維聲製作音樂，但三維聲的製作還在比較初級的階段，混音的正規化混音師還在摸索中。三維聲對於專業的混音師來說是多聲道回放的環境，但是目前大部分使用者主要還是依賴耳機進行回放，目前主要針對耳機進行三維聲音樂推廣的的友商是索尼的360 reality和蘋果音樂與杜比合作的dolby atmos music，當然也可以透過IMU耳機實現三維聲回放探索，戴上IMU耳機就會有頭在轉、音源固定在那裡的一種感覺。

現有的三維聲製作流程是怎樣的呢？

首先會有一個作曲和編曲，我們需要找專業的人士來進行唱歌和樂器的錄音，然後我們會將錄完的這些分軌素材匯入數字音訊的工作站，數字音訊的工作站裡面經由專業混音師的巧手來進行外掛，最後生成三維聲音訊並透過多聲道來進行回放。

那麼，HMS Core可以做成怎麼樣？

先是透過AI作曲能力輔助各位進行編曲創作，然後基於我們提供的TTSing歌聲合成能力，讓大家更快合成比較專業的音訊，經Audio Edior kits將2D轉成3D，然後在UGC或PUGC製作過程中，產生他們自己的3D音訊，最後形成雙耳回放或多聲道回放並進行耳機監聽。

AI作曲配器

接下來跟大家介紹一下AI作曲配器。我們平時走路過程當中會哼一些小調的靈感，透過AI作曲就會自動生成曲子。目前AI作曲的能力主要集中在民謠和國風。我們可以更好地服務大家去迎合消費者的市場，To C可以輔助PGC、使能UGC音樂創作，降低創作門檻；To B可以提供罐頭音樂，減少音樂版權費用，支撐自有應用和合作夥伴商業成功。

TTSing歌聲合成

有了詞曲以後如何進行TTSing歌聲合成呢？使用者可以把曲譜資訊輸入到TTSing歌聲，感受一下詞曲配上這個歌聲的能力，配合剛才AI作出的曲子再加上歌詞聽聽效果。

2D轉3D

有了樂器軌、樂曲軌和歌聲以後，就可以匯入音訊2D轉3D的能力，可以透過互動介面簡單拖動，也可以透過手機Media感測器指揮，把這些軌渲染到空間中任何一個位置，愛後進行雙耳回放就可以聽到最終合成的歌曲。是不是沒有曲子和能力就不能做這個空間的渲染？不是的，我們支援大家把普通的雙聲道、MP3導到2D轉3D的能力，自動分析出這裡面有鋼琴和人聲，然後指定鋼琴裡面某一個元素，透過渲染到空間每個位置進行雙耳渲染，即使是老歌，也可以轉成三維聲的音樂，創造屬於你自己的音樂。

這就是我們HMS Core三維聲的製作流程，我們可以提供AI作曲配器、TTSing歌聲合成以及音樂2D轉3D的能力，透過HMS Core服務，我們可以為UGC、PUGC使用者提供便捷的製作。

現在我們正面臨現實和虛擬的交界處，現在很火的概念就是元宇宙，音訊更大的未來就是聲音元宇宙（Soudverse），透過空間聲學進行聲宇宙的構建，未來我們會提供更多的計算聲學和空間聲學、聲源合成和空間渲染的能力，幫助大家透過使用HMS Core的能力快速進行一個聲宇宙的構建。

謝謝大家！

瞭解更多詳情>>

訪問華為開發者聯盟官網
獲取開發指導文件
華為移動服務開源倉庫地址：GitHub、Gitee

關注我們，第一時間瞭解 HMS Core 最新技術資訊~