歡迎訪問我的GitHub
https://github.com/zq2599/blog_demos
內容：所有原創文章分類彙總及配套原始碼，涉及Java、Docker、Kubernetes、DevOPS等；
本篇概覽
- 本文是《JavaCV的攝像頭實戰》的第六篇，在《JavaCV的攝像頭實戰之三：儲存為mp4檔案》一文中，我們們將攝像頭的內容錄製為mp4檔案，相信聰明的您一定覺察到了一縷瑕疵：沒有聲音
- 雖然《JavaCV的攝像頭實戰》系列的主題是攝像頭處理，但顯然音視訊健全才是最常見的情況，因此就在本篇補全前文的不足吧：編碼實現攝像頭和麥克風的錄製
關於音訊的採集和錄製
- 本篇的程式碼是在《JavaCV的攝像頭實戰之三：儲存為mp4檔案》原始碼的基礎上增加音訊處理部分
- 編碼前，我們們先來分析一下，增加音訊處理後具體的程式碼邏輯會有哪些變化
- 只儲存視訊的操作，與儲存音訊相比，步驟的區別如下圖所示，深色塊就是新增的操作：
- 相對的，在應用結束時，釋放所有資源的時候，音視訊的操作也比只有視訊時要多一些，如下圖所示，深色就是釋放音訊相關資源的操作：
-
為了讓程式碼簡潔一些，我將音訊相關的處理都放在名為AudioService的類中，也就是說上面兩幅圖的深色部分的程式碼都在AudioService.java中，主程式使用此類來完成音訊處理
-
接下來開始編碼
開發音訊處理類AudioService
- 首先是剛才提到的AudioService.java，主要內容就是前面圖中深色塊的功能，有幾處要注意的地方稍後會提到：
package com.bolingcavalry.grabpush.extend;
import lombok.extern.slf4j.Slf4j;
import org.bytedeco.ffmpeg.global.avcodec;
import org.bytedeco.javacv.FFmpegFrameRecorder;
import org.bytedeco.javacv.FrameRecorder;
import javax.sound.sampled.AudioFormat;
import javax.sound.sampled.AudioSystem;
import javax.sound.sampled.DataLine;
import javax.sound.sampled.TargetDataLine;
import java.nio.ByteBuffer;
import java.nio.ByteOrder;
import java.nio.ShortBuffer;
import java.util.concurrent.ScheduledThreadPoolExecutor;
import java.util.concurrent.TimeUnit;
/**
* @author willzhao
* @version 1.0
* @description 音訊相關的服務
* @date 2021/12/3 8:09
*/
@Slf4j
public class AudioService {
// 取樣率
private final static int SAMPLE_RATE = 44100;
// 音訊通道數，2表示立體聲
private final static int CHANNEL_NUM = 2;
// 幀錄製器
private FFmpegFrameRecorder recorder;
// 定時器
private ScheduledThreadPoolExecutor sampleTask;
// 目標資料線，音訊資料從這裡獲取
private TargetDataLine line;
// 該陣列用於儲存從資料線中取得的音訊資料
byte[] audioBytes;
// 定時任務的執行緒中會讀此變數，而改變此變數的值是在主執行緒中，因此要用volatile保持可見性
private volatile boolean isFinish = false;
/**
* 幀錄製器的音訊引數設定
* @param recorder
* @throws Exception
*/
public void setRecorderParams(FrameRecorder recorder) throws Exception {
this.recorder = (FFmpegFrameRecorder)recorder;
// 位元速率恆定
recorder.setAudioOption("crf", "0");
// 最高音質
recorder.setAudioQuality(0);
// 192 Kbps
recorder.setAudioBitrate(192000);
// 取樣率
recorder.setSampleRate(SAMPLE_RATE);
// 立體聲
recorder.setAudioChannels(2);
// 編碼器
recorder.setAudioCodec(avcodec.AV_CODEC_ID_AAC);
}
/**
* 音訊取樣物件的初始化
* @throws Exception
*/
public void initSampleService() throws Exception {
// 音訊格式的引數
AudioFormat audioFormat = new AudioFormat(SAMPLE_RATE, 16, CHANNEL_NUM, true, false);
// 獲取資料線所需的引數
DataLine.Info dataLineInfo = new DataLine.Info(TargetDataLine.class, audioFormat);
// 從音訊捕獲裝置取得其資料的資料線，之後的音訊資料就從該資料線中獲取
line = (TargetDataLine)AudioSystem.getLine(dataLineInfo);
line.open(audioFormat);
// 資料線與音訊資料的IO建立聯絡
line.start();
// 每次取得的原始資料大小
final int audioBufferSize = SAMPLE_RATE * CHANNEL_NUM;
// 初始化陣列，用於暫存原始音訊取樣資料
audioBytes = new byte[audioBufferSize];
// 建立一個定時任務，任務的內容是定時做音訊取樣，再把取樣資料交給幀錄製器處理
sampleTask = new ScheduledThreadPoolExecutor(1);
}
/**
* 程式結束前，釋放音訊相關的資源
*/
public void releaseOutputResource() {
// 結束的標誌，避免取樣的程式碼在whlie迴圈中不退出
isFinish = true;
// 結束定時任務
sampleTask.shutdown();
// 停止資料線
line.stop();
// 關閉資料線
line.close();
}
/**
* 啟動定時任務，每秒執行一次，採集音訊資料給幀錄製器
* @param frameRate
*/
public void startSample(double frameRate) {
// 啟動定時任務，每秒執行一次，採集音訊資料給幀錄製器
sampleTask.scheduleAtFixedRate((Runnable) new Runnable() {
@Override
public void run() {
try
{
int nBytesRead = 0;
while (nBytesRead == 0 && !isFinish) {
// 音訊資料是從資料線中取得的
nBytesRead = line.read(audioBytes, 0, line.available());
}
// 如果nBytesRead<1，表示isFinish標誌被設定true，此時該結束了
if (nBytesRead<1) {
return;
}
// 取樣資料是16位元，也就是2位元組，對應的資料型別就是short，
// 所以準備一個short陣列來接受原始的byte陣列資料
// short是2位元組，所以陣列長度就是byte陣列長度的二分之一
int nSamplesRead = nBytesRead / 2;
short[] samples = new short[nSamplesRead];
// 兩個byte放入一個short中的時候，誰在前誰在後？這裡用LITTLE_ENDIAN指定拜訪順序，
ByteBuffer.wrap(audioBytes).order(ByteOrder.LITTLE_ENDIAN).asShortBuffer().get(samples);
// 將short陣列轉為ShortBuffer物件，因為幀錄製器的入參需要該型別
ShortBuffer sBuff = ShortBuffer.wrap(samples, 0, nSamplesRead);
// 音訊幀交給幀錄製器輸出
recorder.recordSamples(SAMPLE_RATE, CHANNEL_NUM, sBuff);
}
catch (FrameRecorder.Exception e) {
e.printStackTrace();
}
}
}, 0, 1000 / (long)frameRate, TimeUnit.MILLISECONDS);
}
}
- 上述程式碼中，有兩處要注意：
- 重點關注recorder.recordSamples，該方法將音訊存入了mp4檔案
- 定時任務是在一個新執行緒中執行的，因此當主執行緒結束錄製後，需要中斷定時任務中的while迴圈，因此新增了volatile型別的變數isFinish，幫助定時任務中的程式碼判斷是否立即結束while迴圈
改造原本只存視訊的程式碼
-
接著是對《JavaCV的攝像頭實戰之三：儲存為mp4檔案》一文中RecordCameraSaveMp4.java的改造，為了不影響之前章節在github上的程式碼，這裡我新增了一個類RecordCameraSaveMp4WithAudio.java，內容與RecordCameraSaveMp4.java一模一樣，接下來我們們來改造這個RecordCameraSaveMp4WithAudio類
-
先增加AudioService型別的成員變數：
// 音訊服務類
private AudioService audioService = new AudioService();
- 接下來是關鍵，initOutput方法負責幀錄製器的初始化，現在要加上音訊相關的初始化操作，並且還要啟動定時任務去採集和處理音訊，如下所示，AudioService的三個方法都在此呼叫了，注意定時任務的啟動要放在幀錄製器初始化之後：
@Override
protected void initOutput() throws Exception {
// 例項化FFmpegFrameRecorder
recorder = new FFmpegFrameRecorder(RECORD_FILE_PATH, // 存放檔案的位置
getCameraImageWidth(), // 解析度的寬，與視訊源一致
getCameraImageHeight(), // 解析度的高，與視訊源一致
0); // 音訊通道，0表示無
// 檔案格式
recorder.setFormat("mp4");
// 幀率與抓取器一致
recorder.setFrameRate(getFrameRate());
// 編碼格式
recorder.setPixelFormat(AV_PIX_FMT_YUV420P);
// 編碼器型別
recorder.setVideoCodec(avcodec.AV_CODEC_ID_MPEG4);
// 視訊質量，0表示無損
recorder.setVideoQuality(0);
// 設定幀錄製器的音訊相關引數
audioService.setRecorderParams(recorder);
// 音訊取樣相關的初始化操作
audioService.initSampleService();
// 初始化
recorder.start();
// 啟動定時任務，採集音訊幀給幀錄製器
audioService.startSample(getFrameRate());
- output方法儲存原樣，只處理視訊幀（音訊處理在定時任務中）
@Override
protected void output(Frame frame) throws Exception {
// 存檔
recorder.record(frame);
}
- 釋放資源的方法中，增加了音訊資源釋放的操作：
@Override
protected void releaseOutputResource() throws Exception {
// 執行音訊服務的資源釋放操作
audioService.releaseOutputResource();
// 關閉幀錄製器
recorder.close();
}
- 至此，將攝像頭視訊和麥克風音訊存為mp4檔案的功能已開發完成，再寫上main方法，注意引數30表示抓取和錄製的操作執行30秒，注意，這是程式執行的時長，不是錄製視訊的時長：
public static void main(String[] args) {
// 錄製30秒視訊
new RecordCameraSaveMp4WithAudio().action(30);
}
- 執行main方法，等到控制檯輸出下圖紅框的內容時，表示視訊錄製完成：
- 開啟mp4檔案所在目錄，如下圖，紅框中就是剛剛生成的檔案和相關資訊，注意藍框的內容，證明該檔案包含了視訊和音訊的資料：
-
用VLC播放驗證，結果視訊和聲音都正常
-
至此，我們們已完成了儲存音視訊檔案的功能，得益於JavaCV的強大，整個過程是如此的輕鬆愉快，接下來請繼續關注欣宸原創，《JavaCV的攝像頭實戰》系列還會呈現更多豐富的應用；
原始碼下載
- 《JavaCV的攝像頭實戰》的完整原始碼可在GitHub下載到，地址和連結資訊如下表所示(https://github.com/zq2599/blog_demos)：
| 名稱 | 連結 | 備註 |
|---|---|---|
| 專案主頁 | https://github.com/zq2599/blog_demos | 該專案在GitHub上的主頁 |
| git倉庫地址(https) | https://github.com/zq2599/blog_demos.git | 該專案原始碼的倉庫地址，https協議 |
| git倉庫地址(ssh) | git@github.com:zq2599/blog_demos.git | 該專案原始碼的倉庫地址，ssh協議 |
- 這個git專案中有多個資料夾，本篇的原始碼在javacv-tutorials資料夾下，如下圖紅框所示：
- javacv-tutorials裡面有多個子工程，《JavaCV的攝像頭實戰》系列的程式碼在simple-grab-push工程下：
你不孤單，欣宸原創一路相伴
搜尋「程式設計師欣宸」，我是欣宸，期待與您一同暢遊Java世界...
https://github.com/zq2599/blog_demos