JavaCV FFmpeg採集麥克風PCM音訊資料

HiIT青年發表於2021-01-03

前陣子用一個JavaCV的FFmpeg庫實現了YUV視訊資料地採集,同樣的採集PCM音訊資料也可以採用JavaCV的FFmpeg庫。

傳送門:JavaCV FFmpeg採集攝像頭YUV資料

首先引入 javacpp-ffmpeg依賴:

<dependency>
    <groupId>org.bytedeco.javacpp-presets</groupId>
    <artifactId>ffmpeg</artifactId>
    <version>${ffmpeg.version}</version>
</dependency>
1. 查詢麥克風裝置

要採集麥克風的PCM資料,首先得知道麥克風的裝置名稱,可以通過FFmpeg來查詢麥克風裝置。

ffmpeg.exe -list_devices true -f dshow -i dummy  

在我的電腦上結果顯示如下:

其中 “麥克風陣列 (Realtek(R) Audio)” 就是麥克風的裝置名稱。(這裡建議用耳麥[External Mic (Realtek(R) Audio)]錄製,質量要好很多很多)

2. 利用FFmpeg解碼

採集麥克風資料即將麥克風作為音訊流輸入,通過FFmpeg解碼獲取音訊幀,然後將視訊幀轉為PCM格式,最後將資料寫入檔案即可,其實音訊的解碼過程跟視訊的解碼過程是幾乎一致的,下面是FFmpeg音訊的解碼流程:

可以看出除了解碼函式,音訊解碼流程和視訊解碼流程是一致的,音訊解碼呼叫的是avcodec_decode_audio4,而視訊解碼呼叫的是avcodec_decode_video2

3. 開發音訊幀採集器

根據FFmpeg的解碼流程,實現音訊幀採集器大概需要經過以下幾個步驟:

FFmpeg初始化

首先需要使用av_register_all()這個函式完成編碼器和解碼器的初始化,只有初始化了編碼器和解碼器才能正常使用;另外要採集的是裝置,所以還需要呼叫avdevice_register_all()完成初始化。

分配AVFormatContext

接著需要分配一個AVFormatContext,可以通過avformat_alloc_context()來分配AVFormatContext。

pFormatCtx = avformat_alloc_context();

開啟音訊流

通過avformat_open_input()來開啟音訊流,這裡需要注意的是input format要指定為dshow,可以通過av_find_input_format("dshow")獲取AVInputFormat物件。

ret = avformat_open_input(pFormatCtx, String.format("audio=%s", input), av_find_input_format("dshow"), (AVDictionary) null);

注意:這裡是音訊用的是audio,不是video。

查詢音訊流

需要注意的是,查詢音訊流之前需要呼叫avformat_find_stream_info(),下面是查詢視音訊的程式碼:

ret = avformat_find_stream_info(pFormatCtx, (AVDictionary) null);
for (int i = 0; i < pFormatCtx.nb_streams(); i++) {
    if (pFormatCtx.streams(i).codec().codec_type() == AVMEDIA_TYPE_AUDIO) {
        audioIdx = i;
        break;
    }
}

開啟解碼器

可以通過音訊流來查詢解碼器,然後開啟解碼器,對音訊流進行解碼,Java程式碼如下:

pCodecCtx = pFormatCtx.streams(audioIdx).codec();
pCodec = avcodec_find_decoder(pCodecCtx.codec_id());
if (pCodec == null) {
    throw new FFmpegException("沒有找到合適的解碼器:" + pCodecCtx.codec_id());
}
// 開啟解碼器
ret = avcodec_open2(pCodecCtx, pCodec, (AVDictionary) null);
if (ret != 0) {
    throw new FFmpegException(ret, "avcodec_open2 解碼器開啟失敗");
}

採集音訊幀

最後就是採集音訊幀了,這裡需要注意的是,如果向採集麥克風的音訊流解碼得到的是自己想要的格式,需要再次進行格式轉化。

public AVFrame grab() throws FFmpegException {
    if (av_read_frame(pFormatCtx, pkt) >= 0 && pkt.stream_index() == audioIdx) {
        ret = avcodec_decode_audio4(pCodecCtx, pFrame, got, pkt);
        if (ret < 0) {
            throw new FFmpegException(ret, "avcodec_decode_audio4 解碼失敗");
        }
        if (got[0] != 0) {
            return pFrame;
        }
        av_packet_unref(pkt);
    }
    return null;
}
4. 將音訊幀資料寫入檔案

通過音訊解碼之後可以得到PCM資料,這裡為了讀取方便,我將音訊資料轉化為AV_SAMPLE_FMT_S16,即LRLRLR這種格式,而不是planar,這樣子讀取PCM資料的時候,只需要讀取data[0]即可,下面是一段採集主程式,將採集的音訊pcm資料寫入到s16.pcm中:

public static void main(String[] args) throws FFmpegException, IOException {
    FFmpegRegister.register();
    // 耳機的麥克風質量要好得多
    AudioGrabber a = AudioGrabber.create("External Mic (Realtek(R) Audio)");
    // AV_SAMPLE_FMT_S16
    AudioPCMWriter writer = null;
    for (int i = 0; i < 100; i++) {
        AVFrame f = a.grab();
        if (writer == null) {
            writer = AudioPCMWriter.create(new File("s16.pcm"), toChannelLayout(a.channels()), a.sample_fmt(), a.sample_rate(),
                toChannelLayout(a.channels()), AV_SAMPLE_FMT_S16, a.sample_rate(), f.nb_samples());
        }
        writer.write(f);
    }
    writer.release();
    a.release();
}
5. 播放採集的pcm資料

採集的pcm資料可以通過ffplay播放,命令如下:

ffplay.exe -ar 44100 -ac 2 -f s16le -i s16.pcm

播放的時候可以按“Q”退出:

當然如果不用ffplay來播放pcm,也可以自己寫java程式來播放:

public static void main(String[] args) throws IOException, LineUnavailableException {
    AudioPCMPlayer player = AudioPCMPlayer.create(2, AudioUtils.toBit(AV_SAMPLE_FMT_S16), 44100);
    InputStream is = new FileInputStream("s16.pcm");
    byte[] buff = new byte[4096];
    int ret = -1;
    while ((ret = is.read(buff)) != -1) {
        if (ret < buff.length) {
            break;
        }
        player.play(buff);
    }
    is.close();
    player.release();
}

=========================================================
音訊幀採集器、及pcm播放程式原始碼可關注公眾號 “HiIT青年” 傳送 “ffmpeg-pcm” 獲取。

HiIT青年
關注公眾號,閱讀更多文章。

相關文章