在現在很多的線上實時互動場景中,我們重視的不僅僅是互動體驗,還要提升沉浸感。而在很多場景中,僅憑空間音訊技術,就可以帶來如臨其境的體驗。空間音訊技術的原理是怎樣的呢?
看過我們新一期的 RTC 科普視訊,你就知道了。
空間音訊技術是以演算法的方式將現實中的聽感,在數字世界中重建了出來。既然是重建,那麼要理解這個過程,就需要先了解,現實中,我們是如何通過耳朵、大腦來要感知到一個聲音在空間中的位置的。
要解決這個問題,我們可以將判斷聲音位置的過程拆解一下,即:
● 如何判斷聲源與你水平方位
● 如何判斷聲源與你的垂直方位
● 如何判斷聲源與你的距離
事實上,我們是依靠雙耳間的音量差、時間差和音色差來判別聲音的方位。由於雙耳位於頭部兩側,如果聲音是來自右側,那麼它到達右耳的時間相對更短,這就行程了雙耳時間差;聲音在傳播過程中,頻率會衰減,那麼雙耳之間聽到的音色也會不同。
在室內環境中,耳朵聽到的聲音包括直達聲、早期反射聲、後期混響聲。直達聲就是字面意思,從聲源直接傳到耳朵的聲音;早期反射,則是經過室內牆面反射後傳到耳朵的,相比直達聲晚 50 - 80ms;在早期反射之後到達的聲音則是後期混響。就像剛剛所說,聲音傳播中會有衰減,所以聲源與耳朵的距離是能夠被聽出來的。通常來講,聲源與耳朵的距離增加一倍,直達聲的聲壓就會減小 50%,而早期反射與後期混響的聲壓則不會受到這麼明顯的影響。我們的大腦就會基於直達聲與早期反射+後期混響的聲壓比來判斷聲源的距離。
在這期的科普視訊中,我們對以上原理都做了講解。為了讓更多人能有畫面感,便於想象聲音傳播的過程,我們用“水”作為類比。不過,要再次提醒各位,水波的傳播與聲波在空氣中的傳播過程有很大差別,大家不要等同視之。
另外,我們在視訊裡簡要地講解了如何在虛擬現實(VR)中重建空間音訊。其中提到的演算法,我們並沒有深入講解,如果你感興趣,可以檢視我們往期的文章。
最後,如果大家還希望瞭解哪些技術原理,歡迎給我們留言。