為何要選用 Wwise 來打造 3D 互動音樂體驗

Dirty Laundry by Blake Ruby 移動 VR 應用：音訊設計詳解。

大家好，我叫朱利安•梅西納，是一名音訊工程師。我的商業夥伴羅伯特?庫姆博 (Robert Coomber) 和我與音樂家布萊克?魯比 (Blake Ruby) 合作開發了一款 360 度沉浸音樂體驗 VR 應用。本文說的是我們為何要選用 Wwise 來做這個專案。另外，各位不妨瞭解一下其中採用了怎樣的裝置配置、遇到了哪些問題以及最終如何設法為布萊克的粉絲營造了出眾的沉浸體驗。

簡介

羅伯特和我都是剛從貝爾蒙特大學畢業的音訊工程師。跟很多人一樣，我們也非常喜歡音樂和視覺藝術。隨著兩者的不斷髮展，我們一直在努力探尋如何藉助新興技術來以創新方式提升使用者的視聽體驗。縱觀當下趨勢，我們發現了一個新的實踐方向：結合空間音訊和遊戲引擎來呈現音樂和視覺藝術。為此，我們構建了 Dirty Laundry by Blake Ruby 沉浸專案。


故事背景：為什麼是 3D 音訊？

在羅伯特和我合作構建這個沉浸專案之前，我曾為布萊克?魯比製作過《A Lesser Light to Rule The Night》唱片。在製作過程中，我發現布萊克把自己那部分基本上都錄好了。我覺得可以藉此機會來向粉絲們展示他的這一面，讓大家看到他在 360 度沉浸環境下精彩絕倫的表現。羅伯特和我知道這項任務肯定輕鬆不了，但有藝術家的積極配合想必會容易很多。

在啟動 Dirty Laundry 專案之前，我們考察了不知道多少別的 360 度專案。總的來說，羅伯特和我感覺都不怎麼好，尤其是其在音訊方面的效果。這些 360 度專案的音訊要麼是單聲道要麼是立體聲，即便是空間音訊，也有濾波失衡、動態過大問題。我們倆都覺得，絕對不能一開始就給人以“體驗效果差強人意”的印象。

我們把這個專案看作一個打造絕佳 360 度沉浸音訊體驗的機會。為此，我們要跟布萊克一起為聽眾呈現身臨其境的音訊效果。首先面臨的難題是確定把專案部署到哪裡才能獲得最佳體驗。最終，我們決定以可下載應用的形式來存管和分發視聽內容。這樣不僅可以獲得更好的音訊體驗，而且還能提升品牌形象。當然，也可依託 Facebook 或 YouTube 來提供 360 度沉浸體驗。但是，我們希望能做到最好。另外我們還面臨一個挑戰，即大多數消費者都沒有頭戴裝置。雖然移動 VR 藉著 Oculus Quest 等系統取得了很大進展，但我們知道並非布萊克的所有粉絲都能馬上接觸到這項技術。而且，這個專案不是說只面向“玩家”。在想清楚這些之後，我們決定將其部署到 iOS 上。


選用 Wwise

剛開始，我們研究瞭如何使用 Unity 來構建整個工程。後來慢慢發現，它並不能完全滿足我們的需求（以更多的聲道獲得高品質聲音）。為此，我們考慮了很多替代方案，最終決定用 Wwise 來實現。藉此，我們可以將最終混音作為 16 聲道 Ambisonics 音訊來交付。如果不這樣的話，音訊品質和混音效果可能會大幅下降。在試用之後，羅伯特和我一致認為 Wwise 生態系統更加方便互動音樂創作者靈活地打造出眾的音訊體驗。隨著程式設計工作的推進，這一點變得越發明顯。

這個專案非常複雜，從預研、準備、設計、製作到整合都有很多變數。為此，我們在前端和後端方面花費了大量的時間，尤其考慮到最終要在 iOS 上實現。雖然困難重重，但有一點是我們不必擔心的，那就是聽覺效果。說到跟藝術家合作，作為音訊工程師，很大一部分工作是將音訊效果打造得儘量接近原聲。為此，我們很高興能依靠 Wwise 來解決這個問題。這對首次向布萊克的粉絲呈現高保真沉浸音樂來說非常重要。最終，我們希望能借助 Wwise 的強大功能給聽眾以難忘的視聽體驗。


製作過程：經驗教訓

實際製作是在 Columbia Studios A 完成的。這間錄音棚為我們提供了足夠的空間來根據需要安置相應裝置，同時配備了各種必要的設施（如 Starbird SB-1 立架和 Pro Tools HD）。我們架設了點陣式話筒和 5.0 環繞聲話筒陣列 (OCT-5) 以及一階 Ambisonics 話筒 (Sennheiser AMBEO)。同時，監聽包括五個有源雅馬哈HS5揚聲器和被安置在中心聲道揚聲器北側+90?位置的有源KLH重低音揚聲器，左和右聲道揚聲器在距離北方±30?的方向排列，左環繞後和右環繞後聲道在距離北方±110?的方向排列。除此之外，我們還設定了一個耳機輸出來監聽通過 dearVR Ambi Micro 外掛解碼為雙耳訊號的 Ambisonics 輸出。我們捕捉環繞/Ambisonics音訊時的主要關注點是要確保使用與其匹配的具備步進電位控制及低失真的前置放大器。出於以上種種考慮，我們最終選擇了 8 聲道 Millenia HV-3D 話筒前置放大器。

在試聽之後，我們發現就像預期的那樣：演奏時錄製的環繞聲/Ambisonics 音軌相互交疊導致底噪電平升高，而且點陣式話筒和 Ambisonics 話筒之間不受控制地出現類似合唱的問題。這樣的話，某些人聲演奏部分的整體效果難免會差強人意。如果說是其他情況，這些問題都好解決。然而，對 3D 音訊專案來說，問題要複雜得多。要想解決底噪問題，只能濾掉環繞聲/Ambisonics 話筒。但是這樣會對臨場感造成影響，後續的空間化處理效果也會變差。要想解決合唱問題，就得在環繞聲/Ambisonics 錄音和來自點陣式話筒的特定錄音之間做出選擇。這樣的話，又會丟失很多資訊。


解決底噪和合唱問題

為了解決底噪和合唱問題，我們回到 Columbia Studios 並錄製了房間的 Ambisonics 衝激響應。這些錄音稍後要與 Ambisonics 3D 卷積混響效果器 AmbiVerb 結合使用。要想捕獲房間的衝激響應，必須儘可能在拍攝當天進行舞臺演奏以捕獲類似的反射。衝激響應的錄製使用了與前面相同的 Sennheiser AMBEO 話筒和 Millenia HV-3D 話筒前置放大器。第一種衝激響應為正弦波掃頻訊號。這些訊號會輸出到放在空間中各個演奏位置的有源 Yamaha HS8 揚聲器。在此過程中，使用 Pro Tools 進行錄音。第二種衝激響應來自於氣球。這些氣球同樣被放在了各個演奏位置。然後，我對兩種不同的衝激響應進行了對比，以確定在對正弦掃頻訊號進行卷積和反摺積處理後能否獲得預期效果。

在建立衝激響應、加錄新的同期人聲並在 Pro Tools 內建立分軌之後，就可以開始對音訊進行混音了。為此，我們選用了 Reaper 作為 DAW 並在其中實施混音。因為它使用起來非常靈活，更重要的是可以與 dearVR 產品整合。對 3D 音訊進行混音涉及諸多方面，這當中有很多關鍵步驟。首先，要明確哪些聲音需要空間表現、哪些聲音朝向固定/無衰減。在很早的時候，我就發現了固定朝向的兩點好處：一是用作傳送低頻資訊的匯流排。類似於 LFE 聲道，同時保留單聲道；二是用作傳統立體聲輔助效果器（如混響和延遲）的匯流排。這樣可以確保自動實施聲像擺位。如此一來，無論觀眾選擇將頭轉向哪裡都能保持一致。倘若延遲和混響是空間化的，那麼觀眾對周圍這些效果的感知難免存在誤導，以至於不自覺地看向某個方向。


利用 dearVR 外掛和 Spatial Connect 軟體，混音師可以使用耳機進行雙耳監聽，並藉助頭戴裝置實施頭部追蹤和視訊饋送。然後，便可依據視訊中動作的發生位置來將音訊源放在 3D 空間內。我使用一組立體聲樂器匯流排進行了試驗，但發現只對那些嚴重依賴立體聲錄製資訊的樂器有效（如鋼琴或立體聲合成器等直達輸入源）。對於像鼓這樣配有大量點陣式話筒的樂器，我決定棄用立體聲匯流排，改用單聲道音訊源並將其置於相應位置，來確保樂器的各個部分與視訊對應。我在前面提到了要將衝激響應與 3D 卷積混響效果器結合使用。假如沒有卷積混響效果器，便只能聽到直達訊號，感覺就像置身於四周都是揚聲器的消聲室中一樣。點陣式話筒增添了所需的直達聲，但無法提供準確的聲學空間反射，而且在使用拍攝當天錄製的資訊時會產生合唱和底噪問題。通過結合使用 3D 卷積混響效果器和收集的來自氣球的衝激響應，我可以人為地建立混響效果來對實施錄音的房間進行模擬。目前這些只是為了實現相應的功能，藉助混響效果來填補空白，並消除反射缺失問題。每個位置的每件樂器都有自己的 3D 卷積混響效果器匯流排，前端還有 Parametric EQ 協助調節混響效果器的頻率響應。


最終建立的音訊檔案包括一個 16 聲道三階 Ambisonics 檔案和一個固定朝向立體聲檔案。三階 Ambisonics 檔案很重要，因為其包含了更多球面諧波。藉此，不僅可以在解碼時增大音訊源之間的角度解析度，還可使音訊濾波不至於太過明顯。不過，由於我們使用了更多的聲道，所以需要一個能夠滿足相應要求的中介軟體解決方案。Wwise 似乎是不二之選，因為其具備這種能力，而且提供有 Auro3D 授權，可以接受對雙耳訊號的解碼。

雖然採用 Wwise 意味著要執行一些額外的步驟，但這是我們獲得所需品質最有效的辦法。在我們看來，在聲學空間中使用錄製的樂器時，一階或二階配置聽起來的效果並不理想。不僅修飾過多，而且存在其他形式的失真。這會對體驗帶來不好的影響。我們現在所用的大多數技術都是為了滿足實際需要，不過運用類似技術（比如將固定朝向立體聲用作襯底）也有很大的優勢；總之，這就是我們目前對 3D 音樂進行混音的方式。

感興趣的話不妨登入 App Store 來檢視並下載這款應用。如果對我們的內容存有任何疑問或問題，可轉到官網與羅伯特和我本人取得聯絡。

本文作者

朱利安•梅西納 (JULIAN MESSINA)

朱利安•梅西納 (Julian Messina) 現任 4th Floor 互動音訊工程師兼聯合創始人。朱利安畢業於貝爾蒙特大學，他和 Robert Coomber 與 Blake Ruby 合作開發了一款基於 iOS 和 Android 的 3D 音訊體驗和 360 度全景視訊 VR 應用。


來源：Audiokinetic官方
原文：https://mp.weixin.qq.com/s/Ihib67mdjLF7cfWrL7ujzg