開源專案audioFlux: 針對音訊領域的深度學習工具庫

audioFluxLab發表於2023-04-10

audioFlux是一個Python和C實現的庫，提供音訊領域系統、全面、多維度的特徵提取與組合，結合各種深度學習網路模型，進行音訊領域的業務研發，下面從時頻變換、頻譜重排、倒譜系數、解卷積、譜特徵、音樂資訊檢索六個方面簡單闡述其相關功能。

專案地址: https://github.com/libAudioFlux/audioFlux

時頻變換

audioFlux在時頻分析領域中，包含以下通用變換(支援後續所有頻率刻度型別)演算法：

BFT - 基於傅立葉變換。

等效短時傅立葉變換（STFT），一般基於此實現大家熟知的mel頻譜，時域上重疊平移加窗的傅立葉變換，一般重疊變換長度1/4，加高斯窗又稱做Gabor變換，可以調整窗函式長度來方便的模擬時頻分析特點，BFT演算法除提供標準的mel/bark/erb等頻譜外，還支援mel這些刻度型別的複數譜，同時支援mel等刻度頻譜的重排。
NSGT - 非平穩 Gabor 變換。

類似加高斯窗的STFT（短時傅立葉變換），不同之處在於窗函式長度和t建立非平穩關係，相對STFT可以實現穩態訊號中非平穩狀態較好的分析，較好的onset端點偵測效果常基於此類頻譜計算，同時可以做為實現CQT的一種高效方式，本演算法中NSGT變換的octave頻率刻度型別即CQT的高效實現。
CWT - 連續小波變換。

多解析度時頻分析，從數學上看，傅立葉變換的基底是無限的sin/cos函式，而小波變換基底是有限的很小的波函式，波函式的通用表示形式為 $$ \psi_{a,b}(t)=\frac{1}{\sqrt{a}}\psi(\frac{t-b}{a})$$ 其中a決定頻域縮放尺度，b時間平移尺度，建立時頻的自適應分析，相對STFT的固定時頻解析度，具有低頻段頻率分辨高、高頻段時間分辨高特點，非常適合非穩態訊號分析，支援常用的Morse、Morlet、Bump、Pual、Meyer等波函式型別。
PWT - 偽小波變換。

基於傅立葉變換實現的類似小波變換效果，CWT的高效演算法為頻域小波函式計算filterBank和頻域資料做dot運算，如果把小波函式當做一種特殊的窗函式，可以產生類CWT效果，即偽小波變換，如果窗函式建立可調頻帶的引數（庫中尚未實現），可以等效小波變換。

以上變換功能支援下面所有頻率刻度型別：

linear - 標準線性頻帶頻譜圖，短時傅立葉變換結果取一半即linear刻度頻譜圖，刻度為取樣率/取樣樣本，即最小頻域解析度。
linsapce - 自定義頻帶範圍的頻譜圖，頻帶可以大於linear頻帶，相當於時域降取樣。
mel - 梅爾標度頻譜圖，音訊中最常用的頻譜圖型別之一，基於人耳聽覺低頻敏感、高頻不敏感特性，類log壓縮linear刻度。
bark - 巴克刻度頻譜圖，比梅爾刻度更符合人耳聽覺。
erb - 等效矩形頻寬頻譜圖，比巴克刻度更符合人耳聽覺。
octave - 八度刻度頻譜圖，符合樂音對數刻度的頻譜圖。
log - 對數刻度頻譜圖。

下面是一個BFT變換下不同頻率刻度的簡單對比圖。
開源專案audioFlux: 針對音訊領域的深度學習工具庫

下面是一個CWT不同波函式的簡單對比圖。
開源專案audioFlux: 針對音訊領域的深度學習工具庫

以下可用作獨立變換的演算法有（不支援多種頻率刻度型別）：

CQT - 常量Q變換，頻帶比為常數的變換，音樂中常用的此變換，常基於此計算chroma特徵用於分析和聲。
VQT - 可變Q變換。
ST - S變換/Stockwell變換，類似小波變換，是小波變換思想的一種極端特例，可用於偵測分析一些極端的突變訊號如地震、海嘯等，相比NSGT同樣也是加高斯窗，但建立起f和t的縮放關係。
FST - 快速S變換，S變換的離散基2實現。
DWT - 離散小波變換，相對CWT而言，頻率基於2的變換。
WPT - 小波包變換，又稱小波包分解，可以對訊號做細節和近似分解，是訊號分離和合成的一個方式，可用於降噪、模態結構分析等業務。
SWT - 穩態小波變換，類似小波包變換，分解出的訊號和原訊號長度一致。