本文將從基礎概念、經典演演算法、主要挑戰，以及人工智慧回聲消除技術探索等方面，分享anyRTC在 AEC 技術方面的實踐及效果。

## 一.什麼是回聲消除

迴音消除一直是語音通訊的難點，最早的回聲消除是從電話興起的時候就有了，電話機的硬體中含有回聲消除的硬體模組（HW-AEC），到了現代，軟體中的通訊場景越來越多，相對應的軟體回聲消除演演算法（Soft-AEC）也迅速應用起來。

從通訊迴音產生的原因看，可以分為聲學迴音（Acoustic Echo）和線路迴音（Line Echo），相應的回聲消除技術就叫聲學回聲消除（Acoustic Echo Cancellation，AEC）和線路回聲消除（Line Echo Cancellation, LEC）， 聲學迴音是由於在擴音或者會議應用中，揚聲器的聲音多次反饋到麥克風引起的（比較好理解）；線路迴音是由於物理電子線路的二四線匹配耦合引起的（比較難理解），所以本講只討論聲學回聲（包括線性回聲訊號和非線性回聲訊號）的消除原理，即：遠端講話者（主播 A 或聽眾 A）的聲音訊號在傳輸給近端（聽眾 B 或主播 B）後，在近端裝置的揚聲器播放出來，經過一系列聲學反射，被近端裝置的麥克風拾取，又傳輸給遠端（主播 A 或聽眾 A）的現象。

聲學回聲將導致遠端講話者在很短時間內，又聽到了自己剛才的講話聲音。聲學回聲的產生過程如圖所示。

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/16df7cc129684464aea5c11811dd21ac.jpeg#pic_center)

這個回聲如何才能消除掉呢？那就是使用 Soft-AEC（軟體聲學回聲消除，下面統稱為AEC）技術，消除近端裝置麥克風採集訊號中包含的回聲 ； 保證遠端講話者收聽到的聲音中不存在回聲訊號 ；提升使用者的通訊體驗及會議室品質。
使用 AEC 技術後，兩端聲音傳輸過程改變為如圖 2 所示，進而從底層保證會議場景下聲音的乾淨度。

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/9f9108c7fe98432089849b021c550405.jpeg#pic_center)

## 二.常用經典演演算法

一個完整的回聲消除系統，包含以下幾個模組：
1.時延估計（Time Delay Estimation, TDE） 模組
2.(線性)回聲消除（Linear Acoustic  Echo Cancellation, AEC） 模組
3.雙講檢測（Double-Talk Detect, DTD） 模組
4.非線性殘餘聲學回聲抑制（Residual Acoustic Echo Suppression, RAES） 模組

其原理框圖如圖所示。

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/e35fa4e909cc44739caadd4894418929.jpeg#pic_center)

濾波器有兩種狀態：

- 濾波：
 
 ![在這裡插入圖片描述](https://img-blog.csdnimg.cn/436737f75e0240a599da327b32a4d3c0.png)

- 自適應濾波器係數更新(NLMS)：
 ![在這裡插入圖片描述](https://img-blog.csdnimg.cn/f4983a1d06864c87af7ceac8d7b38c96.png)

自適應濾波器有三種工作模式（透過DTD雙講檢測）：
 - 遠端語音存在，近端語音不存在：濾波、自適應濾波器係數更新
 - 遠端語音存在，近端語音存在：濾波
 - 遠端語音不存在：什麼都不用做

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/5d3260bc7bec4de8a9e5b62c4e2958f4.jpeg#pic_center)

Webrtc中的回聲消除模組，已包含：雙講檢測技術（語音活動檢測，區分希臘佛中是否存在雙端講話）、自適應濾波技術（主要效能指標：跟蹤效能、抗衝激性、魯棒性和計算複雜性）、後處理（消除自適應濾波器的輸出誤差）。

下面我們基於webrtc的迴音消除演演算法做了一個測試，內部也做了一些最佳化，目前這個演演算法可以應用到多種平臺，像windows、linux、android、ios、arm平臺都可以支援，大家可以測試下，效果還是比較明顯，基本上在很短時間內就可以完成迴音收斂演演算法的學習。

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/5a956277782a4898a2a21d40fc345617.jpeg#pic_center)

## 三.人工智慧回聲消除技術探索

上面介紹了傳統AEC演演算法的原理，近年來，AI深度學習在語音訊號處理領域的應用越來越多，anyRTC早在3年前就已經將AI深度學習應用於語音降噪中，並取得了非常良好的效果，廣受使用者的好評。我們想著能不能利用深度學習來改進AEC傳統演演算法中的一些痛點，比如噪聲抑制效果不明顯，雙講效果差等問題。早期有很多RNN的演演算法，但是效果都不是特別理想，很高興看到的是近年來 NLP 領域最熱門的 Transformer 與 AEC 演演算法融合的進行了探索。

Transformer 由 Google 團隊於 2017 年 6 月提出，拋棄了傳統 CNN 和 RNN，整個網路結構由 Attention 機制組成。它帶給業界的重大突破在於：解決了 RNN 依賴歷史結果導致模型並行能力被限制的問題與順序計算資訊丟失的問題。

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/5fdcc2504702425ea050cdd6071ec007.jpeg#pic_center)

深度學習的本質就是構建深度模型來擬合輸入與輸出之間的對映關係，並且透過所構建模型的不斷自我調整來使得模型輸出與目標的誤差越來越小，直至收斂穩定。對於 AEC 演演算法來講，深度網路的輸入包括參考和麥克兩路訊號，輸出是一路。下圖是anyRTC基於 LSTM 深度學習模型處理之後的雙講效果。

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/f1cce1654c924bc6ab27c208a1477191.jpeg#pic_center)

可見，基於 LSTM 的AEC 深度學習方法結果優於傳統方法。透過結合深度模型強大的擬合能力與會議場景相關的資料集，為非線性回聲、混響、噪音、“雙講”等各種場景的效能帶來提升。

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/41d9e363998641f7bb61e4a295bc9e69.jpeg#pic_center)

技術分享| anyRTC回聲消除演算法進化

相關文章