利用Songbird為網路帶來實時空間音訊

谷歌開發者_發表於2017-09-11

文/ Google Chrome 媒體團隊 Jamieson Brettle 和 Drew Allen


要打造真正沉浸式的虛擬場景,不僅需要有炫目的視覺效果,還需要伴有逼真的空間音訊,從而營造出逼真而可信的體驗。空間音訊工具允許開發者加入來自任何方向的聲音,這些聲音在 3D 空間中與音訊源相關聯,從而讓使用者完全置身於 360 度的環繞聲環境中。


空間音訊有助於讓使用者身臨其境,營造出進入一個全新世界的幻覺。為實現這種效果,Chrome 媒體團隊建立了 Songbird 這個開放原始碼的空間音訊編碼引擎,該引擎可在使用 Web Audio API 的任何網路瀏覽器中執行。


Songbird 庫可接受任何數量的單聲道音訊流,並允許開發者通過程式設計方式將這些音訊流置入使用者周圍的 3D 空間中。Songbird 讓您可以打造出沉浸式的音景,逼真地再現您所描繪的空間的聲音反射和迴響效果。聲音會像在現實世界中那樣從牆壁上彈回,從各種材料上反射回來,從而打造出真正 360 度的聲場。Songbird 可以打造出一種環繞聲聲場,隨後,可以實時渲染該聲場,供您的應用使用。


我們與去年我們介紹的 Omnitone 專案合作,為 Omnitone 的雙聲道渲染器提供了更高階環繞聲的支援,從而實現了遠比以前更精準的發聲音訊。


640?wx_fmt=png


Songbird 封裝了 Omnitone,開發者現在可以藉助它為任何基於網路的應用新增互動式全聲場音訊。Songbird 可升級支援任何階次的環繞聲,與通過標準 Web Audio API 所能實現的音景相比,Songbird 可以帶來更逼真的聲音和更高的效能。


640?wx_fmt=png

▲ Songbird 音訊處理示意圖


Songbird 基於 Google 空間媒體規範實現。它接受單聲道輸入並通過 SN3D 歸一化輸出環繞聲(多聲道)ACN 聲道佈局。詳細文件可在此處找到。


隨著網路作為一種重要 VR 內容交付平臺的興起,空間音訊將在使用者擁抱這種新型媒體方面發揮關鍵的作用。Songbird 和 Omnitone 是在網路平臺上實現空間音訊並使其成為打造非凡 VR 體驗的卓越平臺的關鍵工具。將這些音訊體驗與 three.js 這樣的 3D JavaScript 庫相結合,可以粗略展示出網路的未來。


640?wx_fmt=png

▲ 在 3D 環境中搭配空間音訊的演示


此專案的實現離不開 Google 的 Daydream 團隊和網路音訊團隊的密切合作。這種合作讓我們得以為網路帶來豐富的音訊功能,就像開發 Daydream 應用的開發者所能獲取的那些功能一樣。


Songbird 是開放原始碼的,我們期待見到人們利用它能帶來什麼。在 GitHub 上檢視程式碼並告訴我們您的想法:

https://github.com/google/songbird


還有許多關於使用 Songbird 建立全空間音訊的演示:

https://cdn.rawgit.com/google/songbird/master/examples/index.html


檢視全文及文中連結,請點選文末“閱讀原文”。


640?wx_fmt=gif

相關文章