利用Songbird為網路帶來實時空間音訊
文/ Google Chrome 媒體團隊 Jamieson Brettle 和 Drew Allen
要打造真正沉浸式的虛擬場景,不僅需要有炫目的視覺效果,還需要伴有逼真的空間音訊,從而營造出逼真而可信的體驗。空間音訊工具允許開發者加入來自任何方向的聲音,這些聲音在 3D 空間中與音訊源相關聯,從而讓使用者完全置身於 360 度的環繞聲環境中。
空間音訊有助於讓使用者身臨其境,營造出進入一個全新世界的幻覺。為實現這種效果,Chrome 媒體團隊建立了 Songbird 這個開放原始碼的空間音訊編碼引擎,該引擎可在使用 Web Audio API 的任何網路瀏覽器中執行。
Songbird 庫可接受任何數量的單聲道音訊流,並允許開發者通過程式設計方式將這些音訊流置入使用者周圍的 3D 空間中。Songbird 讓您可以打造出沉浸式的音景,逼真地再現您所描繪的空間的聲音反射和迴響效果。聲音會像在現實世界中那樣從牆壁上彈回,從各種材料上反射回來,從而打造出真正 360 度的聲場。Songbird 可以打造出一種環繞聲聲場,隨後,可以實時渲染該聲場,供您的應用使用。
我們與去年我們介紹的 Omnitone 專案合作,為 Omnitone 的雙聲道渲染器提供了更高階環繞聲的支援,從而實現了遠比以前更精準的發聲音訊。
Songbird 封裝了 Omnitone,開發者現在可以藉助它為任何基於網路的應用新增互動式全聲場音訊。Songbird 可升級支援任何階次的環繞聲,與通過標準 Web Audio API 所能實現的音景相比,Songbird 可以帶來更逼真的聲音和更高的效能。
▲ Songbird 音訊處理示意圖
Songbird 基於 Google 空間媒體規範實現。它接受單聲道輸入並通過 SN3D 歸一化輸出環繞聲(多聲道)ACN 聲道佈局。詳細文件可在此處找到。
隨著網路作為一種重要 VR 內容交付平臺的興起,空間音訊將在使用者擁抱這種新型媒體方面發揮關鍵的作用。Songbird 和 Omnitone 是在網路平臺上實現空間音訊並使其成為打造非凡 VR 體驗的卓越平臺的關鍵工具。將這些音訊體驗與 three.js 這樣的 3D JavaScript 庫相結合,可以粗略展示出網路的未來。
▲ 在 3D 環境中搭配空間音訊的演示
此專案的實現離不開 Google 的 Daydream 團隊和網路音訊團隊的密切合作。這種合作讓我們得以為網路帶來豐富的音訊功能,就像開發 Daydream 應用的開發者所能獲取的那些功能一樣。
Songbird 是開放原始碼的,我們期待見到人們利用它能帶來什麼。在 GitHub 上檢視程式碼並告訴我們您的想法:
https://github.com/google/songbird
還有許多關於使用 Songbird 建立全空間音訊的演示:
https://cdn.rawgit.com/google/songbird/master/examples/index.html
檢視全文及文中連結,請點選文末“閱讀原文”。
相關文章
- RTN實時音視訊傳輸網路
- 如何利用網路延遲穿越時空
- P2P技術給網路音影片即時通訊帶來的發展
- Runloop有效利用空閒時間OOP
- 以網路為核心,堅築國家網路主權空間
- AR空間音訊能力,打造沉浸式聲音體驗音訊
- 時間流網際網路之未來(上)
- Nielsen:美國網路視訊觀眾看電視時間越來越少
- WebRTC---網路實時通訊Web
- 盛邦安全釋出首個網路空間地圖——網路空間坤輿圖,為新基建提供數字安全底圖地圖
- 勒索病毒猛於虎 網路空間安全誰來守護?
- 帶你用AVPlayer實現音訊和視訊播放音訊
- 以民為本,探索網路空間安全治理的新模式模式
- 中國已成為地下空間開發利用大國OOU
- 蘋果 AirPods Pro 怎麼開啟空間音訊?蘋果AI音訊
- Java程式碼實現帶時區時間字串轉為LocalDateTime物件Java字串LDA物件
- 網頁端實時音視訊服務架構與實踐網頁架構
- 喜訊|易念科技成為中國網路空間安全人才教育聯盟成員單位
- 利用PLSQL實現表空間的遷移(一)SQL
- 利用PLSQL實現表空間的遷移(二)SQL
- 利用PLSQL實現表空間的遷移(四)SQL
- 利用PLSQL實現表空間的遷移(三)SQL
- 利用PLSQL實現表空間的遷移(五)SQL
- 利用oracle 傳輸表空間來實現歷史資料分離的方案Oracle
- 《網路空間測繪年報》|從安全事件透析網路空間資產安全熱門風險點事件
- 安恆資訊網路空間測繪解決方案:Sumap全球網路空間超級雷達
- 訪網路空間安全戰略專家 801網路空間研究院——文珠穆
- ijkplayer 音視訊同步時間的計算
- Forrester:傾聽社會化網路使用者聲音帶來好處REST
- 對未來感到焦慮?那麼程式設計師如何利用空閒時間提高自己程式設計師
- 前端音視訊WebRTC實時通訊的核心前端Web
- 經略網路空間刻不容緩
- 網路空間也需“朝陽群眾”
- Java 獲取本地時間與網路時間Java
- 網路時間協議介紹以及伺服器同步網路時間協議伺服器
- 【實驗】重建臨時表空間解決臨時表空間過大問題
- 360 Quake網路空間測繪系統重磅釋出,全面升維網路空間“全息測繪”
- 網際網路帶來哪些新職業