歡迎大家前往雲加社群，獲取更多騰訊海量技術實踐乾貨哦~
作者：騰訊遊戲雲
導語：在剛剛結束的首屆騰訊使用者開放日上，騰訊音視訊實驗室帶著3D位置音效解決方案，向所有使用者亮相，為使用者提供360度立體空間的沉浸式聽覺體驗，那麼這項技術如何結合具體的場景提升使用者聽感和體驗呢？這篇文章將會詳細闡述。
基於遊戲開發引擎（例如Unreal、Unity）實現的3D音效在遊戲中的應用已經非常普遍了，通過遊戲引擎模擬重現空間中聲源方位，例如CS中射擊的槍聲、中彈時的音效、附近敵人輕微的腳步聲，可以顯著提高遊戲的沉浸感，造就身臨其境的遊戲體驗。
這裡我們可以聽一段音視訊實驗室通過3D音效演算法處理前後的音訊對比（請帶上耳機收聽）：
可以聽到，處理後的音訊攜帶了更多的空間感和方位感資訊，通過擴充套件音樂的延展度，讓聲場更大、聲音位置感更準確、聲音運動軌跡更加生動，提升音樂的臨場感和沉浸感。
然而，3D音效之前並沒有大規模應用在實時語音溝通領域，這主要是由於之前重度遊戲中玩法對於語音能力的定位更多是溝通方式而非創新玩法，使用場景對於實時語音攜帶方位感訴求也不強烈。
2017年一款遊戲《絕地求生：大逃殺》，通過創新的百人大逃殺、勝者吃雞玩法，短時間獲得了全球玩家的青睞和追捧。除了遊戲玩法本身的創意之外，遊戲對於實時語音玩法也進行了顛覆式創新。遊戲過程中玩家可以設定【全體模式】向附近的玩家喊話、挑釁、搭訕，這種語音模式可以與陌生人進行很有趣的溝通和互動。社交媒體上已經有很多使用者基於這種語音模式，創作了很多趣味視訊。
而引入3D位置語音之後，玩家在喊話過程中會暴露自己的方位和位置資訊，玩家的聲音也會根據位置變化而實時改變。可以說，3D音效讓《大逃殺》這種玩家間的溝通和戰鬥體驗更真實，感受更加沉浸式、更加身臨其境的吃雞玩法。
3D音效除了應用在吃雞遊戲中之外，結合線上棋牌房等多人語音場景也可以顯著提升使用者體驗。
現在多人會話中幾路聲音混為單聲道後，聲源將集中於一點。應用3D位置音效，收聽者可以將不同傳送方虛擬到空間不同的位置上，使用者更容易通過位置資訊知道當前是誰在講話。這種技術非常適合應用到固定方位的聊天室中。
例如，3D音效應用到棋牌類遊戲的語音房間時，通過將各個聲音虛擬到桌面相應位置，玩家可以清楚地感知到其他玩家的聲音是來自自己左、右還是正前方，打造線上棋牌房的沉浸式體驗，也讓玩家開語音溝通的意願更加強烈。
以下是我們模擬玩家方位處理的一段棋牌遊戲中實時語音效果：
3D音效的另一個重要應用場景是VR音訊。
VR的一切都是關於臨場感，而逼真的3D音效效果可以成為臨場感的點睛之筆。VR裝置能夠通過頭部運動追蹤物體固然重要，能夠聽到攜帶物體位置資訊的聲音也同樣重要，逼真的3D音效效果能夠給玩家傳遞其他玩家的位置資訊、環境資訊，通過視覺和聽覺的相互加強來達到最好的效果。
從方位上，VR中各個聲音可以虛擬到空間的某個位置上，使使用者感受聲音來自特定位置；使用者轉頭時，VR中剛才所虛擬方位的聲音將隨之變化相應的方位，製造出360度立體空間聲音定位的效果，讓玩家更加確信聲源就在現實中。這對於VR類遊戲體驗非常關鍵。目前音視訊實驗室的3D音效相關技術提案已提交到AVS（國家音視訊編解碼技術標準）的VR音訊國家標準中，且在騰訊今年釋出的一款VR 遊戲“hello world”中已上線。
3D音效還可用於高清視訊的音訊處理，使用者只需使用雙聲道耳機，即可在家體驗影院的沉浸式立體聲視聽體驗。
我們知道，在電影院觀影過程中為了打造立體聲效果常用5.1聲道，7.1聲道，每個聲道的聲音通過不同位置的音響播放出來，配合影片，觀眾體驗更加震撼。而當戴耳機來觀看電影時，由於常規的方法是簡單的將靠左側的所有聲道混在左聲道，靠右側的聲道混在右聲道，中置聲道左右都混，這導致無論5.1還是7.1所有聲像最終都變成左中右，模糊掉許多細節導致一些聲音的變化體現不真實，例如從左後方運動到左方再到左前。更嚴重的是，假如其他聲道無聲，只有左前聲道有聲音，就變成了只有左耳機響，這種感受很不好。
而3D音效可將各聲道虛擬到各個相應音響的位置，從而使聽覺更像來自空間中的各個音響。運用3D音效技術，使用者在家用雙聲道耳機即可體驗沉浸式的影院立體聲效果。
以下是我們在騰訊視訊上擷取的音樂原聲並通過3D音效處理後的效果：
那麼，三維虛擬聽覺是如何實現的呢？要將普通單聲道聲音處理為沉浸感的音訊需要先了解下面的問題：人耳如何分辨聲音來自何方？ 我們先看下面的圖：
通過圖中我們可以看到，左右耳聽到的聲音先後、左右耳聽到的聲音的大小、左右耳聽到聲音實際頻譜都是有差異的。
我們的3D音效技術，就是利用“頭部關聯傳輸函式”（HRTF 演算法），對雙耳之間的時間差異和頻譜差異進行建模，形成有聲源方位感的聲音。同時我們還通過取樣混響填補HRIR缺失的環境反射聲，從而構建完整的聲場模型。比如在一個小房間裡，不僅可以聽到兩個人之間的對話，還可以聽到聲音從牆壁中反射的效果，增加沉浸感。在下一篇關於3D音效技術揭祕的文章中，我們會披露關於此項技術更多的原理介紹，敬請期待！
3D位置語音解決方案應用到遊戲實時語音溝通中，玩家可以根據隊友語音“聽聲辨位”，擁有“身臨其境”的沉浸式遊戲體驗。目前3D音效技術已經整合到騰訊音視訊實驗室推出的實時遊戲音視訊TMG（Tencent Mobile Gaming）解決方案中。TMG提供了包括多人實時語音、實時視訊、語音訊息、語音轉文字等功能，覆蓋了休閒社交類、MOBA 類、MMORPG 等多種遊戲型別，是一個專門針對遊戲場景定製的實時遊戲音視訊 SDK，且接入門檻極低，一個 SDK 即可滿足多樣化的遊戲音視訊訴求。
實時遊戲音視訊（Tencent Mobile Gaming）服務已正式登陸騰訊雲，為廣大遊戲廠商開發者提供服務，詳細資訊可瀏覽：cloud.tencent.com/product/tmg…
想了解更多騰訊雲遊戲行業解決方案和案例，立即報名1月19日騰訊雲GAME-TECH沙龍杭州站，我們一起探討
直播預約：www.itdks.com/eventlist/d…
相關閱讀
「騰訊雲遊戲開發者技術沙龍」1月19日遊戲加速主題等你來約！
騰訊遊戲雲 Dolphin 上線 開啟遊戲更新 easy 模式
一分鐘配置的“黑科技”，騰訊雲獨家開放雲壓測能力
此文已由作者授權雲加社群釋出，轉載請註明原文出處