論文地址：基於時移建模的入耳式耳機透聽系統
引用格式：
摘要
透傳(hear-through，HT)技術是透過增強耳機佩戴者對環境聲音的感知來主動補償被動隔離的。耳機中的材料會減少聲音 500Hz以上的高頻成分。HT演算法利用麥克風和使用者耳朵之間的相對傳遞函式(RTF)產生人造聲音，從而彌補環境聲音的損失。通常，HT的效能取決於環境聲音的到達方向( direction of arrival，DOA)。本文提出了一種識別RTF的時移方案和一種精確計算補償聲音的主動均衡演算法。還研製了一種整形濾波器，以防止低頻人工聲音的干擾。最後，將該演算法整合到入耳式耳機中，並與一款商用產品的HT效能進行了比較，驗證了該演算法的有效性。
關鍵詞：自適應系統，到達方向，穿透，入耳式耳機，被動隔離，相對傳遞函式
1 引言
隨著近年來音訊技術的進步，智慧可聽裝置市場發展迅速。幾家公司已經推出了智慧耳機，為消費者提供了比傳統耳機更好的聽力體驗[6]。此外，智慧耳機市場佔所有耳機市場的份額繼續增加，到2026年，全球高階耳機市場預計將超過220億美元。通常，智慧耳機支援主動降噪(ANC)和透聽(HT)[7]的切換功能。ANC有助於消除不必要的環境噪聲，在過去十年中得到了很好的發展。HT補償了耳機佩戴者環境聲音的損失，有利於交流和增強聽力[12][18]。由於耳機中的HT具有與助聽器[7]類似的功能，近年來受到了廣泛關注[19]。
包括入耳式耳機在內的智慧耳機因其輕便便攜而最受歡迎[6]，[20]。有幾家公司已經推出了具有ANC和HT功能的入耳式耳機；但是，為了滿足消費者的需求，還必須提高HT的效能。為了實現HT，連線在耳機外部的外部麥克風接收環境聲，然後由揚聲器建立並播放偽環境聲，以補償耳機造成的聲學隔離，從而提供聲學透明度[23]。戴耳機的人聽到的聲音500Hz以上的聲音被隔絕。許多研究學者提出了改進的HT函式。Rämö和Välimäki提出了一種基於全通原理的均衡方法，用於耳機[25]的HT系統中，並分析了梳狀效應[26]。Ranjan和Gan分析了耳機造成的聲學隔離，並提出了自適應濾波技術，用於在開式耳機中再現自然聽力[14]。Gan等人還開發了虛擬現實(VR)和擴增實境(AR)應用程式，為耳機的佩戴者創造了自然和增強的聽力體驗。討論了環境聲的變化到達方向(DOA)，以設計HT濾波器為目標[17]。Gupta等人提出了引數HT均衡方案來估計聲音的DOA，然後從預先計算的資料庫中選擇相應的HT濾波器來提高多源場景的效能[24]。Patel等人提出了定向HT耳機，該耳機在佩戴者面向的方向上整合了用於HT的麥克風陣列波束形成[29]。Zhuang和Liu表明，在頻域中，HT濾波器設計問題可以用類似於ANC濾波器設計的方式來表述[30]。在此基礎上，提出了一種約束HT濾波器的設計方法。此外，Gupta et al.[31]基於耳廓線索評估了個性化和非個性化HT均衡濾波器。Jin等人還透過估計鼓膜處的聲壓，設計了一種個性化的HT均衡濾波器[32]。大多數HT研究都集中在補償由頭戴耳機引起的聲學隔離，以提高聲學透明度[14]，[17]，[24]，[29], [33]。對入耳式耳機的評估很少。主要原因應該是入耳式耳機太小，難以控制；同時，小型揚聲器在低頻[34]時很難有良好的效能。因此，HT濾波器的計算必須有效地防止人工聲音的迴響。大多數入耳式耳機都有定製的耳塞，可以進一步遮蔽環境聲音。耳塞有助於消除噪音，因為它們將佩戴者與大頻率範圍內的環境聲音隔離開來，但使HT難以實現。
本工作開發了一種用於入耳式耳機的HT技術。要實現透傳的聽覺體驗，必須補償入耳式耳機的被動隔離效果。最直觀的方法是在外部麥克風(帶入耳式耳機)和鼓膜麥克風(內部麥克風，不帶入耳式耳機)之間識別RTF，如圖1所示。圖1展示了用於整合外部麥克風與入耳式耳機的實驗設定。實驗中使用了一個假頭的耳模擬器。內部麥克風是假頭的耳朵。在HT應用中，由於外部和內部麥克風訊號產生的條件不同，無法同時接收。因此，在本工作中，提出了時移方法來識別離線的RTF，以實現HT。由於耳塞在較寬的頻率範圍內將佩戴者與外部聲音隔離，因此提出了一種shaping filter方法，在感興趣的頻率上產生補償聲音，從而減少DOA的影響並提高HT效能。
圖1所示 一種與外部麥克風整合的入耳式耳機的設定
本文的其餘部分組織如下。第二節討論了基於所提出的時移建模方法和入耳式耳機主動透傳均衡(AHE)演算法的HT系統。第三節評價了所提出的演算法，並討論了所設計的shaping filter的優點。與商業化的入耳式耳機進行了比較。第四節得出結論。
2 透傳 (Hear-through，HT) 系統
圖2所示：一種採用HT方案的入耳式耳機的系統結構
HT方案被廣泛應用於現代耳機中。HT的目的是補償耳機造成的被動隔離。圖2示意圖描述了入耳式耳機中的HT，其中假頭充當耳機使用者。外接麥克風連線到入耳式耳機的外部，以接收外部環境聲音$x(t)$。假頭耳朵中殘留的環境聲音記為$x'(t)$。HT系統產生的補償聲$y′(t)$，用於補償耳機被動隔離造成的環境聲損失。因此，內部麥克風(假頭耳)的偽環境聲為
$$d'(t)=x'(t)+y'(t)$$
其中$t$表示時間。此外，數字濾波器可以適應不斷變化的環境，因此，模數轉換(ADC)和數模轉換(DAC)單元被用於擬議的HT系統。
圖3 帶有假頭耳道的入耳式耳機示意圖
這項工作開發了一種技術，可以完美地恢復入耳式耳機佩戴者耳膜上的環境聲音。圖3給出了本文提出的HT系統的概念。主揚聲器用於產生激勵訊號。次要路徑表示從次要揚聲器到內部麥克風的傳遞函式，一般包括DAC、重構濾波器(reconstruction filter)、功率放大器( power amplifier)、從次要揚聲器到內部麥克風的聲學路徑、前置放大器(pre-amplifier)、抗混疊濾波器(anti-aliasing filter)、ADC。不考慮從揚聲器到外部麥克風的聲學反饋路徑，因為入耳式耳機的矽膠耳塞會衰減反饋聲音。其中，$n$表示數字時間樣本。假設外部麥克風處的訊號為$x(n)$，所提方案的目的是推導補償訊號$y(n)$，使偽環境訊號$d'(n)$(耳機佩戴者接收到的)與訊號$d(n)$(在沒有耳機的情況下將接收到的)完全匹配。
為了實現這個目標，必須匯出目標路徑$T(z)$。目標路徑$T(z)$是指外部麥克風(戴耳機)和假頭的耳麥(不戴耳機)之間的傳遞函式。由於外部訊號$x(n)$和環境訊號$d(n)$存在於不同的場景中，$T(z)$不能用傳統的自適應方法識別。因此，採用時移建模方法來識別外部和內部麥克風之間的RTF，從而準確估計傳遞函式$T(z)$。
A. 時移(Time-Shift)離線建模
由於外部和內部麥克風訊號不能同時接收。為此，提出了基於時移的方法在離線狀態下識別RTF以實現HT。根據外部麥克風和內部麥克風的相干函式計算時移，並利用LMS演算法估計目標路徑，完成了兩個階段的工作。首先主揚聲器播放白噪聲作為激勵訊號，在假頭耳朵處接收到訊號$d(n)$。然後，訊號$x(n)$被如圖3所示的外部麥克風接收。目標路徑$T(z)$的RTF是$d(n)$和$x(n)$之間的期望傳遞函式。
$$公式2：T(z) \triangleq Z\left[\frac{d(n)}{x(n)}\right]$$
其中$Z[·]$表示Z變換。然而，訊號$d(n)$和$x(n)$不能同時測量，兩者之間的相干性幾乎為零，因此沒有自適應方法可以直接識別目標路徑$T(z)$。因此，在本研究中採用時移建模來估計目標路徑$T(z)$。由於高效的系統識別需要外部和內部麥克風之間的高相干性，為了提高相干性，首先計算訊號$d(n)$和$x(n)$之間的時移常數，如圖4(a)所示。作為延遲的時移$\Delta _1$應用於$d(n)$以滿足因果關係。
圖4 時移建模框圖，(a)計算時移，(b)估計目標路徑T(z)
定義外部環境訊號$x(n)$與真實環境訊號$d(n)$之間的相干函式[35]為
$$公式3：\gamma_{d x}(\omega) \equiv \frac{S_{d x}(\omega)}{\sqrt{S_{d d}(\omega) S_{x x}(\omega)}}$$
其中$S_{dd}(w)$和$S_{xx}(w)$分別為環境訊號$d(n)$和外部訊號$x(n)$的自功率譜；$S_{dx}(w)$為復交叉功率譜，$\omega $為頻率。相干性$C_{dx}(w)$是在所有頻率上滿足以下約束的歸一化交叉譜密度函式
$$公式4：0 \leq C_{d x}(\omega) \equiv\left|\gamma_{d x}(\omega)\right|^2=\frac{\left|S_{d x}(\omega)\right|^2}{S_{d d}(\omega) S_{x x}(\omega)} \leq 1$$
為了確定最優時移，使用了平均平方相干$C_{avg}$的效能指標；它是由
$$公式5：C_{a v g}=\frac{1}{N} \sum_{k=1}^N C_{d x}\left(\omega_k\right)$$
其中$w_k$是感興趣的頻率。將最優移碼引數$\bigtriangleup _1$設定為使$C_{avg}$值最大化。一旦獲得了最高的平均相干性，就可以利用$d(n-\bigtriangleup _1)$自適應識別目標路徑$T(z)$，如圖4(b)所示。
因此，誤差訊號表示為
$$公式6：e_a(n)=d\left(n-\Delta_1\right)-y_a(n)$$
$y_a(n)=\hat{t}^T(n)x(n)$，$T$表示轉置，$x(n)\equiv [x(n)x(n-1)...x(n-L+1)]^T$，$\hat{t}(n)\equiv [\hat{t}_0\hat{t}_1...\hat{t}_{L-1}]^T$，$\hat{t}_l(n)(l=0,...,L-1)$為濾波器長度為$L$的目標路徑模型$T(z)$的第$l$個係數，採用最小均方(LMS)演算法將目標路徑模型$T(z)$的係數更新為：
$$公式7：\hat{t}(n+1)=\hat{t}(n)+\mu x(n)e_a(n)$$
其中$\mu$為步長。在步長足夠小的情況下，LMS演算法可以調整權重向量$\hat{t}(n)$，使誤差訊號$e_a(n)$最小化。
B. 主動透傳均衡演算法
為了得到所需的均衡濾波器，假設剩餘的環境訊號$x(n)$為零。基本上，剩餘的環境訊號$x(n)$只包含500Hz以下的環境聲音$x(n)$的低頻成分，超出了感興趣的頻率範圍。因此，在設計階段可以忽略剩餘的環境訊號$x(n)$。最優均衡濾波器為
$$公式8：W^{\circ}(z)=\frac{T(z)}{S(z)}$$
如圖3所示。此外，為了實現入耳式耳機的HT，必須補償由次要路徑引起的固有延遲。因此，我們加入了$\bigtriangleup_2$個延遲樣本來克服消除因果約束[36]。因此，推匯出實際均衡濾波器[23]為
$$公式9：W(z)=\frac{\hat{T}(z) z^{-\Delta_2}}{\hat{S}(z)}$$
其中$\hat{S}(z)$是次路徑$S(z)$的估計模型。從$\hat{S}(z)$的脈衝響應的第一個零可以計算出延遲$\Delta _2$。耳機的被動隔離效能取決於環境聲音的DOA，如圖5所示。在圖7中，在離假頭右耳30釐米的地方放置一個揚聲器，播放粉紅色的噪音(20hz至20khz)作為環境聲；將入耳式耳機放在假人的右耳中，測量噪音。圖5中的灰線顯示了當聲音入射角從0到$315^{o} $(步長為$45_{o}$)時假頭右耳處振幅的減小；藍線表示平均振幅減小，紅線表示耳朵開啟。
圖5所示 入耳式耳機的被動隔離效果
在這種情況下，低於4kHz的環境聲音各組成部分的幅度衰減幾乎相等。入耳式耳機的矽膠耳尖在較高頻率下衰減更大，因此殘留的環境訊號$x(n)$包含周圍聲音的低頻成分。如圖5所示，衰減發生在500 Hz以上。因此，帶通整形濾波器$C(z)$的截止頻率$f_L$ = 500 Hz和$f_H$ = 4 kHz，使HT系統只補償感興趣的頻率範圍。因此，所提出的包含shaping filter的均衡濾波器可以匯出為
$$公式10：W_c(z)=\frac{\hat{T}(z) C(z) z^{-\Delta_2}}{\hat{S}(z)}$$
圖6所示 AHE演算法框圖
圖6給出了推導均衡濾波器$W_c(z)$的AHE演算法框圖。在AHE演算法中，誤差訊號表示為
$$公式11：e_b(n)=d_b^{\prime}\left(n-\Delta_2\right)-y_b^{\prime}(n)$$
其中$d'b(n)$為期望目標訊號；$y'_b(n)$為補償訊號，$\Delta _2$為延時取樣數。均衡濾波器$W_c(z)$的輸出訊號$y_b(n)$表示為
$$公式12：y_b(n)=\hat{w}^Tx(n)$$
其中$w(n)=[w_0(n)w_1(n)...w_{L-1}(n)]^T$為權向量；$w_l(n)(l=0,...,L-1)$為濾波器長度為$L$的$W_c(z)$的第$l$個係數，$x(n)=[x(n)x(n-1)...,x(n-L+1)]^T$為外部麥克風接收到的訊號。在filtered-X LMS (FXLMS)演算法的基礎上，對均衡濾波器$W_c(z)$進行了更新
$$公式13：\mathbf{w}(n+1)=\mathbf{w}(n)+\mu[\hat{\mathbf{s}}(n) * \mathbf{x}(n)] e_b(n)$$
式中$*$為線性卷積，$\hat{s}(n)$為次路徑模型$\hat{S}(z)$的脈衝響應向量。$w(n)$以足夠小的步長收斂到最優值。
3 分析與實驗
A. 實驗步驟
實驗在符合ISO 3745(2003)和ASTM E336(2009)標準的消聲室中進行。在離假頭右耳30釐米的地方放置揚聲器，發出激勵訊號。耳朵處的聲音水平約為80 dBA。在入耳式耳機的外殼上附加了一個MEMS麥克風作為外部麥克風。在假頭下方放置一個旋轉圓盤，以評估不同DOA($0^o,45^o,...,315^o$)。實驗以數字訊號處理器(DSP)為計算核心，取樣頻率為48 kHz，低通濾波器截止頻率為20 kHz。一款具有HT功能的商業入耳式耳機被同樣使用，以進行公平的比較。圖7(a)和圖7(b)所示為設定。
圖7所示。(a)實驗設定，(b)用DOA測試HT的設定
B. 實驗結果
圖8所示。(a)相干計算，(b)目標路徑模型T(z)的脈衝響應
首先透過確定訊號的相干$C_{avg}$並求$\Delta _1$，得到$x(n)$與$d(n)$之間的延遲，結果如圖8(a)所示。從0到500的延遲樣本進行了測試，發現$\Delta _1=220$處產生了最高的相干性。因此，可參考圖4(b)估計目標路徑模型$\hat{T}(z)$。圖8(b)為得到的$\hat{T}(z)$的脈衝響應。它還建議大約300的濾波器長度應該用於提出的時移建模方案。
典型人類聲音的頻率範圍小於4khz。為了使HT效能與DOA保持一致；因此，透過級聯一個二階IIR高通濾波器(截止頻率為500Hz)和一個三階IIR低通濾波器(截止頻率為4kHz)，基於如圖5所示的耳機造成的被動隔離，設計了shaping filter $C(z)$。圖9所示為shaping filter的頻率響應。為了訓練均衡濾波器$W_c(z)$，需要延遲$\Delta _2$來補償由估計的次要路徑引起的延遲。
圖9所示 整形濾波器C(z)的幅值響應
圖10所示 二次路徑模型S(z)的脈衝響應
圖10給出了濾波長度為150的次路徑模型$\hat{S}(z)$的脈衝響應。當取樣率為48 kHz時，使用7個樣本可以得到S(z)的延遲；因此，選擇$\Delta _2=7$。透過對不同濾波器長度、延遲50秒的樣本進行測試，圖11給出了均衡濾波器$W_c(z)$推導過程中$e_b(n)$的均方誤差(MSE)。顯然，延遲$\Delta _2$必須大於7以最小化MSE，均衡濾波器$W_c(z)$的濾波器長度必須超過150。
圖11所示 $W_c(z)$在不同濾波長度和延遲取樣條件下的MSE
下一個實驗檢驗了整形濾波器的重要性，如圖12所示。橫軸表示假頭右耳接收到聲音的頻率，縱軸表示衰減。藍色、綠色、紫色線表示在假人的耳朵上安裝入耳式耳機時得到的結果。本文所提出的HT方案的主動補償目標是0 dB處的線。顯然，入耳式耳機的大部分被動隔離來自500hz，如藍線所示。綠色和紫色的線對應的結果，衰減的環境聲補償時，提出的HT方法與不shaping filter。因此，建議的帶有shaping filter的方案(綠色線)優於沒有整形濾波器的方案(紫色線)，特別是對於低於1 kHz的元件。
圖12所示。所提HT系統的效能
接下來，將所提出方法的HT效能與Gupta等人的方法[23]和一款商用入耳式耳機進行比較。$270^o$ (20 Hz到20 kHz)的粉色噪音作為主要噪音播放。使用了假頭的右耳。實驗設定如圖7所示。圖13給出了由此得到的結果。黑色線和藍色線分別代表不戴入耳式耳機和戴入耳式耳機時假人的右耳聽到的聲音。顯然，圖13(a)和圖13(b)中黑色和藍色線之間的差異是由被動隔離引起的。在圖13(a)中，綠線和紅線代表了本文和Gupta et al.[23]的HT結果。顯然，所提出的HT幾乎與圖13(a)所示的從50 Hz到4 kHz的黑線相同。提出的HT方案也優於Gupta et al.[23]的HT方案，特別是在低於1 kHz的低頻範圍內。提出的方法只關注頻率範圍高達4 kHz，以解決DOA問題。
圖13(b)中的綠線顯示了啟用HT功能後的商用入耳式耳機的效能。在感興趣的頻率範圍內(100 Hz至2 kHz)，擬議HT(圖13(a)中的綠線和商業HT(圖13(b)中的綠線)的效能幾乎相同；然而，所提出的HT(圖13(a))比商用HT(圖13(b))表現更好，特別是在頻率範圍從2 kHz到4 kHz。
圖13所示。使用(a)提議的入耳式耳機，(b)商用入耳式耳機的HT功能比較
商用耳機使用固定係數的均衡濾波器來執行HT功能。因此，針對DOA依賴問題，應重點關注低頻補償，因為低頻效能與聲音DOA無關。此外，所提出的方法使用整形濾波器，以避免放大不需要的高頻訊號，確保在不同DOA來聲下的一致性，並防止低頻人工聲音的干擾。為了驗證這一說法，我們評估了所提出的HT的效能，並將其與Gupta等人[23]和一款商用入耳式耳機的方案進行了比較。
圖14所示。使用HT技術的入耳式耳機DOA依賴關係，(a)提出的HT， (b) Gupta等人的HT方法[23]，以及(c)商業HT
對比結果如圖14所示。橫軸表示從20hz到20khz的頻率，縱軸表示耳機被動隔離的衰減。HT函式的完美補償對應於0 dB處的效能，即無衰減。圖14中的藍線顯示了使用入耳式耳機從假頭的右耳接收到來自不同方向(0,45，…， 315)。HT效能由灰色線表示，這些線被平均後得到黑線。從圖14(a)中可以看出，對於不同DOA聲音，所提出的HT方案在4 kHz以下的效能基本一致。圖14(b)顯示了Gupta et al.[23]方法的效能，補償後的聲音會對500 Hz以下的殘餘聲音產生聲學干擾。另外，不同的DOA聲音會在高頻4 kHz以上造成不必要的聲音放大，如圖14(b)中的藍色和紅色區域所示。圖14(c)展示了商用入耳式耳機的效能。顯然，商用HT可以有效地補償高達10 kHz的隔音，但它會導致比擬議HT在3 kHz至10 kHz之間更高的不必要的聲音放大。這意味著商用入耳式耳機無法在不同DOA聲音下保持一致的效能。該方案不僅減少了低頻聲干擾，而且有效地防止了高頻聲不必要的放大。
4 結論
HT技術是為入耳式耳機開發的，為消費者提供偽環境聲。利用所提出的時移離線建模和AHE演算法，所提供的均衡濾波器有效地補償了入耳式耳機的被動隔離。所設計的整形濾波器確保了所述HT技術的效能在整個感興趣的頻率範圍內是一致的，並且在低頻時不會受到聲波干擾，在高頻時也不會受到不必要的聲音放大。實驗結果驗證了該方法的效能。在感興趣的頻率範圍內的外部環境聲音可以為入耳式耳機的佩戴者使用所提出的HT技術完美地再現。
參考文獻
[1] Hearable devices Global market trajectory & analytics, Global Ind. Anal. Inc., San Jose, CA, USA, Rep. 5302556, Apr. 2021.
[2] R. Miyahara, K. Oosugi, and A. Sugiyama, A hearing device with an adaptive noise canceller for noise-robust voice input, IEEE Trans. Consum. Electron., vol. 65, no. 4, pp. 444 453, Nov. 2019, doi: 10.1109/TCE.2019.2941708.
[3] T. Kawase, M. Okamoto, T. Fukutomi, and Y. Takahashi, Speech enhancement parameter adjustment to maximize accuracy of automatic speech recognition, IEEE Trans. Consum. Electron., vol. 66, no. 2, pp. 125 133, May 2020, doi: 10.1109/TCE.2020.2986003.
[4] S. Itani, S. Kita, and Y. Kajikawa, Multimodal personal ear authentication using acoustic ear feature for smartphone security, IEEE Trans. Consum. Electron., vol. 68, no. 1, pp. 77 84, Feb. 2022, doi: 10.1109/TCE.2021.3137474.
[5] J.-M. Yang, G. W. Lee, S. Kim, and H.-G. Moon, Multi-sensor speech enhancement using in-ear and beamforming signal synthesis in TWS voice communication, in Proc. IEEE Int. Conf. Consum. Electron. (ICCE), Las Vegas, NV, USA, Jan. 2022, pp. 1 6.
[6] Earphones and headphones market Global outlook and forecast 2021- 2026, Arizton Advisory Intell., Chicago, IL, USA, Rep. 5311280, Apr. 2021.
[7] V. Valimaki, A. Franck, J. Ramo, H. Gamper, and L. Savioja, Assisted listening using a headset: Enhancing audio perception in real, augmented, and virtual environments, IEEE Signal Process. Mag., vol. 32, no. 2, pp. 92 99, Mar. 2015, doi: 10.1109/MSP.2014.2369191.
[8] C.-Y. Chang, A. Siswanto, C.-Y. Ho, T.-K. Yeh, Y.-R. Chen, and S. M. Kuo, Listening in a noisy environment: Integration of active noise control in audio products, IEEE Consum. Electron. Mag., vol. 5, no. 4, pp. 34 43, Oct. 2016, doi: 10.1109/MCE.2016.2590159.
[9] M. T. Khan and R. A. Shaik, High-performance hardware design of block LMS adaptive noise canceller for in-ear headphones, IEEE Consum. Electron. Mag., vol. 9, no. 3, pp. 105 113, May 2020, doi: 10.1109/MCE.2020.2976418.
[10] L. Lu et al., A survey on active noise control in the past decade Part I: Linear systems, Signal Process., vol. 183, Jun. 2021, Art. no. 108039, doi: 10.1016/j.sigpro.2021.108039.
[11] L. Lu et al., A survey on active noise control in the past decade Part II: Nonlinear systems, Signal Process., vol. 181, Apr. 2021, Art. no. 107929, doi: 10.1016/j.sigpro.2020.107929.
[12] T. Lee, Y. Baek, Y.-C. Park, and D. H. Youn, Stereo upmixbased binaural auralization for mobile devices, IEEE Trans. Consum. Electron., vol. 60, no. 3, pp. 411 419, Aug. 2014, doi: 10.1109/TCE.2014.6937325.
[13] N. Lezzoum, G. Gagnon, and J. Voix, Voice activity detection system for smart earphones, IEEE Trans. Consum. Electron., vol. 60, no. 4, pp. 737 744, Nov. 2014, doi: 10.1109/TCE.2014.7027350.
[14] R. Ranjan and W.-S. Gan, Natural listening over headphones in augmented reality using adaptive filtering techniques, IEEE/ACM Trans. Audio, Speech, Language Process., vol. 23, no. 11, pp. 1988 2002, Nov. 2015, doi: 10.1109/TASLP.2015.2460459.
[15] S.-N. Yao, Headphone-based immersive audio for virtual reality headsets, IEEE Trans. Consum. Electron., vol. 63, no. 3, pp. 300 308, Aug. 2017, doi: 10.1109/TCE.2017.014951.
[16] J. Harth et al., Different types of users, different types of immersion: A user study of interaction design and immersion in consumer virtual reality, IEEE Consum. Electron. Mag., vol. 7, no. 4, pp. 36 43, Jul. 2018, doi: 10.1109/MCE.2018.2816218.
[17] W.-S. Gan, J. He, R. Ranjan, and R. Gupta, Natural and augmented listening for VR and AR/MR, in Proc. ICASSP Tutorial, Calgary, AB, Canada, Apr. 2018. [Online]. Available: https://sigport.org/ documents/icassp-2018-tutorial-t11-natual-and-augmented-listeningvrarmr (Accessed: Jul. 14, 2022).
[18] R. Gupta et al., Augmented/mixed reality audio for hearables: Sensing, control, and rendering, IEEE Signal Process. Mag., vol. 39, no. 3, pp. 63 89, May 2022, doi: 10.1109/MSP.2021.3110108.
[19] Active noise cancelling (ANC) headphones market Global outlook and forecast 2019 2024, Arizton Advisory Intell., Chicago, IL, USA, Rep. 4825751, Aug. 2019.
[20] S. M. Kuo, Y.-R. Chen, C.-Y. Chang, and C.-W. Lai, Development and evaluation of light-weight active noise cancellation earphones, Appl. Sci., vol. 8, no. 7, p. 1178, Jul. 2018, doi: 10.3390/app8071178.
[21] H. Schepker, F. Denk, B. Kollmeier, and S. Doclo, Acoustic transparency in hearables Perceptual sound quality evaluations, J. Audio Eng. Soc., vol. 68, nos. 7 8, pp. 495 507, Jul. 2020, doi: 10.17743/jaes.2020.0045.
[22] F. Denk, H. Schepker, S. Doclo, and B. Kollmeier, Acoustic transparency in hearables Technical evaluation, J. Audio Eng. Soc., vol. 68, nos. 7 8, pp. 508 521, Jul. 2020, doi: 10.17743/jaes.2020.0042.
[23] R. Gupta, R. Ranjan, J. He, W.-S. Gan, and S. Peksi, Acoustic transparency in hearables for augmented reality audio: Hear-through techniques review and challenges, in Proc. AES Int. Conf. AVAR, Aug. 2020, pp. 3 7.
[24] R. Gupta, R. Ranjan, J. He, and W.-S. Gan, Parametric hear through equalization for augmented reality audio, in Proc. IEEE 44th Int. Conf. Acoust. Speech Signal Process. (ICASSP), Brighton, U.K., May 2019, pp. 1587 1591.
[25] J. Rämö and V. Välimäki, An allpass hear-through headset, in Proc. 22nd Eur. Signal Process. Conf. (EUSIPCO), Lisbon, Portugal, Sep. 2014, pp. 1123 1127.
[26] J. Rämö and V. Välimäki, Digital augmented reality audio headset, J. Electr. Comput. Eng., vol. 2012, pp. 1 13, Oct. 2012, doi: 10.1155/2012/457374.
[27] S. Liebich, J.-G. Richter, J. Fabry, C. Durand, J. Fels, and P. Jax, Direction-of-arrival dependency of active noise cancellation headphones, in Proc. 47th Int. Congr. Expo. Noise Control Eng. (INTERNOISE), Chicago, IL, USA, Aug. 2018, pp. 1 10.
[28] S. Liebich and P. Vary, Occlusion effect cancellation in headphones and hearing devices The sister of active noise cancellation, IEEE/ACM Trans. Audio, Speech, Language Process., vol. 30, pp. 35 48, 2022, doi: 10.1109/TASLP.2021.3130966.
[29] V. Patel, J. Cheer, and S. Fontana, Design and implementation of an active noise control headphone with directional hear-through capability, IEEE Trans. Consum. Electron., vol. 66, no. 1, pp. 32 40, Feb. 2020, doi: 10.1109/TCE.2019.2956634.
[30] Y. Zhuang and Y. Liu, A constrained optimal hear-through filter design approach for earphones, in Proc. 50th Int. Congr. Expo. Noise Control Eng. (INTERNOISE), Washington, DC, USA, Aug. 2021, pp. 1329 1337.
[31] R. Gupta, R. Ranjan, J. He, and W.-S. Gan, Study on differences between individualized and non-individualized hear-through equalization for natural augmented listening, in Proc. AES Int. Conf. Headphone Technol., San Francisco, CA, USA, Aug. 2019, p. 12.
[32] W. Jin, T. Schoof, and H. Schepker, Individualized hear-through for acoustic transparency using PCA-based sound pressure estimation at the eardrum, in Proc. IEEE 47th Int. Conf. Acoust. Speech Signal Process. (ICASSP), Singapore, May 2022, pp. 341 345.
[33] R. Gupta, R. Ranjan, J. He, and W.-S. Gan, On the use of closed-back headphones for active hear-through equalization in augmented reality applications, in Proc. AES Int. Conf. AVAR, Redmond, WA, USA, Aug. 2018, p. P8-2.
[34] S. Liebich, J. Fabry, P. Jax, and P. Vary, Signal processing challenges for active noise cancellation headphones, in Proc. 13th ITG-Symp. Speech Comm., Oldenburg, Germany, Oct. 2018, pp. 1 5.
[35] S. M. Kuo and D. R. Morgan, Active Noise Control Systems: Algorithms and DSP Implementations. New York, NY, USA: Wiley, 1996, pp. 56 58.
[36] S. M. Kuo and D. R. Morgan, Active noise control: A tutorial review, Proc. IEEE, vol. 87, no. 6, pp. 943 973, Jun. 1999, doi: 10.1109/5.763310.
黃崇瑞1993年出生於臺灣。他於2017年獲得臺灣桃園市建新科技大學電子工程學士學位，並於2019年獲得桃園市中原基督教大學電氣工程碩士學位，目前正在攻讀電氣工程博士學位。主要研究方向為主動噪聲控制、聲訊號處理、自適應訊號處理、嵌入式系統等。
張成元1968年出生於臺灣。他於1990年和1994年分別獲得臺灣新竹國立交通大學控制工程學士學位和碩士學位，並於2000年獲得臺灣桃園國立中央大學電氣工程博士學位。2007年，他加入臺灣中原基督教大學電氣工程系，目前是該校特聘教授。2009年至2011年，2013年至2019年，他擔任該部門的主席。2012年任美國北伊利諾伊大學客座教授。主要研究方向為訊號處理應用和有源噪聲控制系統設計。他曾於2007年至2011年擔任TASSE秘書，並於2013年至2015年擔任IEEE臺北分會秘書。
郭明明先生1976年畢業於臺北市國立臺灣師範大學，獲理學學士學位;1983年和1985年分別獲得美國新墨西哥大學(Albuquerque, NM)碩士和博士學位。1985年至2014年，他在北伊利諾伊大學迪卡爾布分校工作，2002年至2008年擔任系主任。2014年至2021年，他擔任中原基督教大學電氣工程系名譽講座教授。1993年，他在德克薩斯州休斯頓的德州儀器公司工作，2008年在中央大學工作。他是三本書的主要作者:有源噪聲控制系統(Wiley, 1996)、實時數字訊號處理(Wiley, 2001, 2007和2013)和數字訊號處理器(Prentice-Hall, 2005)，並與人合著了三本書:微訊號架構的嵌入式訊號處理(Wiley, 2007)、子帶自適應濾波(Wiley, 2009)和有源噪聲控制系統的二次路徑建模技術(施普林格)。他擁有10項美國專利。他的研究主要集中在主動噪聲和振動控制，實時DSP應用，數字音訊應用和生物醫學訊號處理。他是1993年IEEE切斯特薩勒獎(IEEE transactions on Consumer Electronics)第一交易論文獎的獲得者，2001年因在研究和學術領域的成就而獲得年度教員獎。