經典的深度學習網路AlexNet使用資料擴充(Data Augmentation)的方式擴大資料集,取得較好的分類效果。在深度學習的影像領域中,通過平移、 翻轉、加噪等方法進行資料擴充。但是,在音訊(Audio)領域中,如何進行資料擴充呢?
音訊的資料擴充,主要有以下四種方式:
- 音訊剪裁(Clip)
- 音訊旋轉(Roll)
- 音訊調音(Tune)
- 音訊加噪(Noise)
音訊解析基於librosa音訊庫;矩陣操作基於scipy和numpy科學計算庫。
以下是Python的實現方式:
音訊剪裁
import librosa
from scipy.io import wavfile
y, sr = librosa.load("../data/love_illusion.mp3") # 讀取音訊
print y.shape, sr
wavfile.write("../data/love_illusion_20s.mp3", sr, y[20 * sr:40 * sr]) # 寫入音訊
複製程式碼
音訊旋轉
import librosa
import numpy as np
from scipy.io import wavfile
y, sr = librosa.load("../data/raw/love_illusion_20s.mp3") # 讀取音訊
y = np.roll(y, sr*10)
print y.shape, sr
wavfile.write("../data/raw/xxx_roll.mp3", sr, y) # 寫入音訊
複製程式碼
音訊調音,注:cv庫的resize函式含有插值功能。
import cv2
import librosa
from scipy.io import wavfile
y, sr = librosa.load("../data/raw/love_illusion_20s.mp3") # 讀取音訊
ly = len(y)
y_tune = cv2.resize(y, (1, int(len(y) * 1.2))).squeeze()
lc = len(y_tune) - ly
y_tune = y_tune[int(lc / 2):int(lc / 2) + ly]
print y.shape, sr
wavfile.write("../data/raw/xxx_tune.mp3", sr, y_tune) # 寫入音訊
複製程式碼
音訊加噪,注:在新增隨機噪聲時,保留0值,否則刺耳難忍!
import librosa
from scipy.io import wavfile
import numpy as np
y, sr = librosa.load("../data/raw/love_illusion_20s.mp3") # 讀取音訊
wn = np.random.randn(len(y))
y = np.where(y != 0.0, y + 0.02 * wn, 0.0) # 噪聲不要新增到0上!
print y.shape, sr
wavfile.write("../data/raw/love_illusion_20s_w.mp3", sr, y) # 寫入音訊
複製程式碼
歡迎Follow我的GitHub:https://github.com/SpikeKing
By C. L. Wang @ 美圖雲事業部
OK, that's all! Enjoy it!