歡迎訪問我的GitHub
這裡分類和彙總了欣宸的全部原創(含配套原始碼)：https://github.com/zq2599/blog_demos
本篇概覽
- 本文是《JavaCV的攝像頭實戰》的第七篇，在《JavaCV的攝像頭實戰之五：推流》一文中，我們們將攝像頭的內容推送到媒體伺服器，再用VLC成功播放，相信聰明的您一定覺察到了一縷瑕疵：沒有聲音
- 雖然《JavaCV的攝像頭實戰》系列的主題是攝像頭處理，但顯然音視訊健全才是最常見的情況，因此就在本篇補全前文的不足吧：編碼實現攝像頭和麥克風的推流，並驗證可以成功遠端播放音視訊
關於音訊的採集和錄製
- 本篇的程式碼是在《JavaCV的攝像頭實戰之五：推流》原始碼的基礎上增加音訊處理部分
- 編碼前，我們們先來分析一下，增加音訊處理後具體的程式碼邏輯會有哪些變化
- 只儲存視訊的操作，與儲存音訊相比，步驟的區別如下圖所示，深色塊就是新增的操作：
- 相對的，在應用結束時，釋放所有資源的時候，音視訊的操作也比只有視訊時要多一些，如下圖所示，深色就是釋放音訊相關資源的操作：
- 為了讓程式碼簡潔一些，我將音訊相關的處理都放在名為AudioService的類中，也就是說上面兩幅圖的深色部分的程式碼都在AudioService.java中，主程式使用此類來完成音訊處理
- 接下來開始編碼
開發音訊處理類AudioService
- 首先是剛才提到的AudioService.java，主要內容就是前面圖中深色塊的功能，有幾處要注意的地方稍後會提到：
package com.bolingcavalry.grabpush.extend;
import lombok.extern.slf4j.Slf4j;
import org.bytedeco.ffmpeg.global.avcodec;
import org.bytedeco.javacv.FFmpegFrameRecorder;
import org.bytedeco.javacv.FrameRecorder;
import javax.sound.sampled.AudioFormat;
import javax.sound.sampled.AudioSystem;
import javax.sound.sampled.DataLine;
import javax.sound.sampled.TargetDataLine;
import java.nio.ByteBuffer;
import java.nio.ByteOrder;
import java.nio.ShortBuffer;
import java.util.concurrent.ScheduledThreadPoolExecutor;
import java.util.concurrent.TimeUnit;
/**
* @author willzhao
* @version 1.0
* @description 音訊相關的服務
* @date 2021/12/3 8:09
*/
@Slf4j
public class AudioService {
// 取樣率
private final static int SAMPLE_RATE = 44100;
// 音訊通道數，2表示立體聲
private final static int CHANNEL_NUM = 2;
// 幀錄製器
private FFmpegFrameRecorder recorder;
// 定時器
private ScheduledThreadPoolExecutor sampleTask;
// 目標資料線，音訊資料從這裡獲取
private TargetDataLine line;
// 該陣列用於儲存從資料線中取得的音訊資料
byte[] audioBytes;
// 定時任務的執行緒中會讀此變數，而改變此變數的值是在主執行緒中，因此要用volatile保持可見性
private volatile boolean isFinish = false;
/**
* 幀錄製器的音訊引數設定
* @param recorder
* @throws Exception
*/
public void setRecorderParams(FrameRecorder recorder) throws Exception {
this.recorder = (FFmpegFrameRecorder)recorder;
// 位元速率恆定
recorder.setAudioOption("crf", "0");
// 最高音質
recorder.setAudioQuality(0);
// 192 Kbps
recorder.setAudioBitrate(192000);
// 取樣率
recorder.setSampleRate(SAMPLE_RATE);
// 立體聲
recorder.setAudioChannels(2);
// 編碼器
recorder.setAudioCodec(avcodec.AV_CODEC_ID_AAC);
}
/**
* 音訊取樣物件的初始化
* @throws Exception
*/
public void initSampleService() throws Exception {
// 音訊格式的引數
AudioFormat audioFormat = new AudioFormat(SAMPLE_RATE, 16, CHANNEL_NUM, true, false);
// 獲取資料線所需的引數
DataLine.Info dataLineInfo = new DataLine.Info(TargetDataLine.class, audioFormat);
// 從音訊捕獲裝置取得其資料的資料線，之後的音訊資料就從該資料線中獲取
line = (TargetDataLine)AudioSystem.getLine(dataLineInfo);
line.open(audioFormat);
// 資料線與音訊資料的IO建立聯絡
line.start();
// 每次取得的原始資料大小
final int audioBufferSize = SAMPLE_RATE * CHANNEL_NUM;
// 初始化陣列，用於暫存原始音訊取樣資料
audioBytes = new byte[audioBufferSize];
// 建立一個定時任務，任務的內容是定時做音訊取樣，再把取樣資料交給幀錄製器處理
sampleTask = new ScheduledThreadPoolExecutor(1);
}
/**
* 程式結束前，釋放音訊相關的資源
*/
public void releaseOutputResource() {
// 結束的標誌，避免取樣的程式碼在whlie迴圈中不退出
isFinish = true;
// 結束定時任務
sampleTask.shutdown();
// 停止資料線
line.stop();
// 關閉資料線
line.close();
}
/**
* 啟動定時任務，每秒執行一次，採集音訊資料給幀錄製器
* @param frameRate
*/
public void startSample(double frameRate) {
// 啟動定時任務，每秒執行一次，採集音訊資料給幀錄製器
sampleTask.scheduleAtFixedRate((Runnable) new Runnable() {
@Override
public void run() {
try
{
int nBytesRead = 0;
while (nBytesRead == 0 && !isFinish) {
// 音訊資料是從資料線中取得的
nBytesRead = line.read(audioBytes, 0, line.available());
}
// 如果nBytesRead<1，表示isFinish標誌被設定true，此時該結束了
if (nBytesRead<1) {
return;
}
// 取樣資料是16位元，也就是2位元組，對應的資料型別就是short，
// 所以準備一個short陣列來接受原始的byte陣列資料
// short是2位元組，所以陣列長度就是byte陣列長度的二分之一
int nSamplesRead = nBytesRead / 2;
short[] samples = new short[nSamplesRead];
// 兩個byte放入一個short中的時候，誰在前誰在後？這裡用LITTLE_ENDIAN指定拜訪順序，
ByteBuffer.wrap(audioBytes).order(ByteOrder.LITTLE_ENDIAN).asShortBuffer().get(samples);
// 將short陣列轉為ShortBuffer物件，因為幀錄製器的入參需要該型別
ShortBuffer sBuff = ShortBuffer.wrap(samples, 0, nSamplesRead);
// 音訊幀交給幀錄製器輸出
recorder.recordSamples(SAMPLE_RATE, CHANNEL_NUM, sBuff);
}
catch (FrameRecorder.Exception e) {
e.printStackTrace();
}
}
}, 0, 1000 / (long)frameRate, TimeUnit.MILLISECONDS);
}
}
- 上述程式碼中，有兩處要注意：
- 重點關注recorder.recordSamples，該方法將音訊存入了mp4檔案
- 定時任務是在一個新執行緒中執行的，因此當主執行緒結束錄製後，需要中斷定時任務中的while迴圈，因此新增了volatile型別的變數isFinish，幫助定時任務中的程式碼判斷是否立即結束while迴圈
改造原本推流時只推視訊的程式碼
- 接著是對《JavaCV的攝像頭實戰之五：推流》一文中RecordCamera.java的改造，為了不影響之前章節在github上的程式碼，這裡我新增了一個類RecordCameraWithAudio.java，內容與RecordCamera.java一模一樣，接下來我們們來改造這個RecordCameraWithAudio類
- 先增加AudioService型別的成員變數：
// 音訊服務類
private AudioService audioService = new AudioService();
- 接下來是關鍵，initOutput方法負責幀錄製器的初始化，現在要加上音訊相關的初始化操作，並且還要啟動定時任務去採集和處理音訊，如下所示，AudioService的三個方法都在此呼叫了，注意定時任務的啟動要放在幀錄製器初始化之後：
@Override
protected void initOutput() throws Exception {
// 例項化FFmpegFrameRecorder，將SRS的推送地址傳入
recorder = FrameRecorder.createDefault(RECORD_ADDRESS, getCameraImageWidth(), getCameraImageHeight());
// 降低啟動時的延時，參考
// https://trac.ffmpeg.org/wiki/StreamingGuide)
recorder.setVideoOption("tune", "zerolatency");
// 在視訊質量和編碼速度之間選擇適合自己的方案，包括這些選項：
// ultrafast,superfast, veryfast, faster, fast, medium, slow, slower, veryslow
// ultrafast offers us the least amount of compression (lower encoder
// CPU) at the cost of a larger stream size
// at the other end, veryslow provides the best compression (high
// encoder CPU) while lowering the stream size
// (see: https://trac.ffmpeg.org/wiki/Encode/H.264)
// ultrafast對CPU消耗最低
recorder.setVideoOption("preset", "ultrafast");
// Constant Rate Factor (see: https://trac.ffmpeg.org/wiki/Encode/H.264)
recorder.setVideoOption("crf", "28");
// 2000 kb/s, reasonable "sane" area for 720
recorder.setVideoBitrate(2000000);
// 設定編碼格式
recorder.setVideoCodec(avcodec.AV_CODEC_ID_H264);
// 設定封裝格式
recorder.setFormat("flv");
// FPS (frames per second)
// 一秒內的幀數
recorder.setFrameRate(getFrameRate());
// Key frame interval, in our case every 2 seconds -> 30 (fps) * 2 = 60
// 關鍵幀間隔
recorder.setGopSize((int)getFrameRate()*2);
// 設定幀錄製器的音訊相關引數
audioService.setRecorderParams(recorder);
// 音訊取樣相關的初始化操作
audioService.initSampleService();
// 幀錄製器開始初始化
recorder.start();
// 啟動定時任務，採集音訊幀給幀錄製器
audioService.startSample(getFrameRate());
}
- output方法儲存原樣，只處理視訊幀（音訊處理在定時任務中）
@Override
protected void output(Frame frame) throws Exception {
if (0L==startRecordTime) {
startRecordTime = System.currentTimeMillis();
}
// 時間戳
recorder.setTimestamp(1000 * (System.currentTimeMillis()-startRecordTime));
// 存檔
recorder.record(frame);
}
- 釋放資源的方法中，增加了音訊資源釋放的操作：
@Override
protected void releaseOutputResource() throws Exception {
// 執行音訊服務的資源釋放操作
audioService.releaseOutputResource();
// 關閉幀錄製器
recorder.close();
}
- 至此，將攝像頭視訊和麥克風音訊推送到媒體伺服器的功能已開發完成，再寫上main方法，表示推流十分鐘：
public static void main(String[] args) {
new RecordCameraWithAudio().action(600);
}
-
執行main方法，等到控制檯輸出下圖紅框的內容時，表示正在推送中：
-
在另一臺電腦上用VLC軟體開啟剛才推流的地址rtmp://192.168.50.43:21935/hls/camera，稍等幾秒鐘後開始正常播放，影像聲音都正常（注意不能用當前電腦播放，否則麥克風採集的是VLC播放的聲音了）：
-
用VLC自帶的工具檢視媒體流資訊，如下圖，可見視訊流和音訊流都能正常識別：
-
開啟媒體伺服器自身的監控頁面，如下圖，可以看到各項實時資料：
-
至此，我們們已完成了音視訊推流的功能，（有點像直播的樣子了），得益於JavaCV的強大，整個過程是如此的輕鬆愉快，接下來請繼續關注欣宸原創，《JavaCV的攝像頭實戰》系列還會呈現更多豐富的應用；
原始碼下載
- 《JavaCV的攝像頭實戰》的完整原始碼可在GitHub下載到，地址和連結資訊如下表所示(https://github.com/zq2599/blog_demos)：
| 名稱 | 連結 | 備註 |
|---|---|---|
| 專案主頁 | https://github.com/zq2599/blog_demos | 該專案在GitHub上的主頁 |
| git倉庫地址(https) | https://github.com/zq2599/blog_demos.git | 該專案原始碼的倉庫地址，https協議 |
| git倉庫地址(ssh) | git@github.com:zq2599/blog_demos.git | 該專案原始碼的倉庫地址，ssh協議 |
- 這個git專案中有多個資料夾，本篇的原始碼在javacv-tutorials資料夾下，如下圖紅框所示：
- javacv-tutorials裡面有多個子工程，《JavaCV的攝像頭實戰》系列的程式碼在simple-grab-push工程下：
