歡迎訪問我的GitHub
這裡分類和彙總了欣宸的全部原創(含配套原始碼)：https://github.com/zq2599/blog_demos
關於《JavaCV的攝像頭實戰》系列
- 《JavaCV的攝像頭實戰》顧名思義，是使用JavaCV框架對攝像頭進行各種處理的實戰集合，這是欣宸作為一名Java程式設計師，在計算機視覺（computer vision）領域的一個原創系列，通過連續的編碼實戰，與您一同學習掌握視訊、音訊、圖片等資源的各種操作
- 另外要說明的是，整個系列使用的攝像頭是USB攝像圖或者筆記本的內建攝像頭，並非基於網路訪問的智慧攝像頭
本篇概覽
- 作為整個系列的開篇，本文非常重要，從環境到程式碼的方方面面，都會為後續文章打好基礎，簡單來說本篇由以下內容構成：
- 環境和版本資訊
- 基本套路分析
- 基本框架編碼
- 部署媒體伺服器
- 接下來就從環境和版本資訊開始吧
環境和版本資訊
- 現在就把實戰涉及的軟硬體環境交代清楚，您可以用來參考：
- 作業系統：win10
- JDK：1.8.0_291
- maven：3.8.1
- IDEA：2021.2.2(Ultimate Edition)
- JavaCV：1.5.6
- 媒體伺服器：基於dockek部署的nginx-rtmp，映象是：alfg/nginx-rtmp:v1.3.1
原始碼下載
- 《JavaCV的攝像頭實戰》的完整原始碼可在GitHub下載到，地址和連結資訊如下表所示(https://github.com/zq2599/blog_demos)：
| 名稱 | 連結 | 備註 |
|---|---|---|
| 專案主頁 | https://github.com/zq2599/blog_demos | 該專案在GitHub上的主頁 |
| git倉庫地址(https) | https://github.com/zq2599/blog_demos.git | 該專案原始碼的倉庫地址，https協議 |
| git倉庫地址(ssh) | git@github.com:zq2599/blog_demos.git | 該專案原始碼的倉庫地址，ssh協議 |
- 這個git專案中有多個資料夾，本篇的原始碼在javacv-tutorials資料夾下，如下圖紅框所示：
- javacv-tutorials裡面有多個子工程，《JavaCV的攝像頭實戰》系列的程式碼在simple-grab-push工程下：
基本套路分析
- 全系列有多個基於攝像頭的實戰，例如視窗預覽、把視訊儲存為檔案、把視訊推送到媒體伺服器等，其基本套路是大致相同的，用最簡單的流程圖表示如下：
- 從上圖可見，整個流程就是不停的從攝像頭取幀，然後處理和輸出
基本框架編碼
-
看過了上面基本套路，聰明的您可能會有這樣的想法：既然套路是固定的，那程式碼也可以按套路固定下來吧
-
沒錯，接下來就考慮如何把程式碼按照套路固定下來，我的思路是開發名為AbstractCameraApplication的抽象類，作為《JavaCV的攝像頭實戰》系列每個應用的父類，它負責搭建整個初始化、取幀、處理、輸出的流程，它的子類則專注幀資料的具體處理和輸出，整個體系的UML圖如下所示：
- 接下來就該開發抽象類AbstractCameraApplication.java了，編碼前先設計，下圖是AbstractCameraApplication的主要方法和執行流程，粗體全部是方法名，紅色塊代表留給子類實現的抽象方法：
- 接下來是建立工程，我這裡建立的是maven工程，pom.xml如下：
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<parent>
<artifactId>javacv-tutorials</artifactId>
<groupId>com.bolingcavalry</groupId>
<version>1.0-SNAPSHOT</version>
</parent>
<modelVersion>4.0.0</modelVersion>
<groupId>com.bolingcavalry</groupId>
<version>1.0-SNAPSHOT</version>
<artifactId>simple-grab-push</artifactId>
<packaging>jar</packaging>
<properties>
<!-- javacpp當前版本 -->
<javacpp.version>1.5.6</javacpp.version>
</properties>
<dependencies>
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
</dependency>
<dependency>
<groupId>ch.qos.logback</groupId>
<artifactId>logback-classic</artifactId>
<version>1.2.3</version>
</dependency>
<dependency>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-to-slf4j</artifactId>
<version>2.13.3</version>
</dependency>
<!-- javacv相關依賴，一個就夠了 -->
<dependency>
<groupId>org.bytedeco</groupId>
<artifactId>javacv-platform</artifactId>
<version>${javacpp.version}</version>
</dependency>
</dependencies>
</project>
- 接下來就是AbstractCameraApplication.java的完整程式碼，這些程式碼的流程和方法命名都與上圖保持一致，並且新增了詳細的註釋，有幾處要注意的地方稍後會提到：
package com.bolingcavalry.grabpush.camera;
import lombok.Getter;
import lombok.extern.slf4j.Slf4j;
import org.bytedeco.ffmpeg.global.avutil;
import org.bytedeco.javacv.*;
import org.bytedeco.opencv.global.opencv_imgproc;
import org.bytedeco.opencv.opencv_core.Mat;
import org.bytedeco.opencv.opencv_core.Scalar;
import java.text.SimpleDateFormat;
import java.util.Date;
/**
* @author will
* @email zq2599@gmail.com
* @date 2021/11/19 8:07 上午
* @description 攝像頭應用的基礎類，這裡面定義了拉流和推流的基本流程，子類只需實現具體的業務方法即可
*/
@Slf4j
public abstract class AbstractCameraApplication {
/**
* 攝像頭序號，如果只有一個攝像頭，那就是0
*/
protected static final int CAMERA_INDEX = 0;
/**
* 幀抓取器
*/
protected FrameGrabber grabber;
/**
* 輸出幀率
*/
@Getter
private final double frameRate = 30;
/**
* 攝像頭視訊的寬
*/
@Getter
private final int cameraImageWidth = 1280;
/**
* 攝像頭視訊的高
*/
@Getter
private final int cameraImageHeight = 720;
/**
* 轉換器
*/
private final OpenCVFrameConverter.ToIplImage openCVConverter = new OpenCVFrameConverter.ToIplImage();
/**
* 例項化、初始化輸出操作相關的資源
*/
protected abstract void initOutput() throws Exception;
/**
* 輸出
*/
protected abstract void output(Frame frame) throws Exception;
/**
* 釋放輸出操作相關的資源
*/
protected abstract void releaseOutputResource() throws Exception;
/**
* 兩幀之間的間隔時間
* @return
*/
protected int getInterval() {
// 假設一秒鐘15幀，那麼兩幀間隔就是(1000/15)毫秒
return (int)(1000/ frameRate);
}
/**
* 例項化幀抓取器，預設OpenCVFrameGrabber物件，
* 子類可按需要自行覆蓋
* @throws FFmpegFrameGrabber.Exception
*/
protected void instanceGrabber() throws FrameGrabber.Exception {
grabber = new OpenCVFrameGrabber(CAMERA_INDEX);
}
/**
* 用幀抓取器抓取一幀，預設呼叫grab()方法，
* 子類可以按需求自行覆蓋
* @return
*/
protected Frame grabFrame() throws FrameGrabber.Exception {
return grabber.grab();
}
/**
* 初始化幀抓取器
* @throws Exception
*/
protected void initGrabber() throws Exception {
// 例項化幀抓取器
instanceGrabber();
// 攝像頭有可能有多個解析度，這裡指定
// 可以指定寬高，也可以不指定反而呼叫grabber.getImageWidth去獲取，
grabber.setImageWidth(cameraImageWidth);
grabber.setImageHeight(cameraImageHeight);
// 開啟抓取器
grabber.start();
}
/**
* 預覽和輸出
* @param grabSeconds 持續時長
* @throws Exception
*/
private void grabAndOutput(int grabSeconds) throws Exception {
// 新增水印時用到的時間工具
SimpleDateFormat simpleDateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
long endTime = System.currentTimeMillis() + 1000L *grabSeconds;
// 兩幀輸出之間的間隔時間，預設是1000除以幀率，子類可酌情修改
int interVal = getInterval();
// 水印在圖片上的位置
org.bytedeco.opencv.opencv_core.Point point = new org.bytedeco.opencv.opencv_core.Point(15, 35);
Frame captureFrame;
Mat mat;
// 超過指定時間就結束迴圈
while (System.currentTimeMillis()<endTime) {
// 取一幀
captureFrame = grabFrame();
if (null==captureFrame) {
log.error("幀物件為空");
break;
}
// 將幀物件轉為mat物件
mat = openCVConverter.convertToMat(captureFrame);
// 在圖片上新增水印，水印內容是當前時間，位置是左上角
opencv_imgproc.putText(mat,
simpleDateFormat.format(new Date()),
point,
opencv_imgproc.CV_FONT_VECTOR0,
0.8,
new Scalar(0, 200, 255, 0),
1,
0,
false);
// 子類輸出
output(openCVConverter.convert(mat));
// 適當間隔，讓肉感感受不到閃屏即可
if(interVal>0) {
Thread.sleep(interVal);
}
}
log.info("輸出結束");
}
/**
* 釋放所有資源
*/
private void safeRelease() {
try {
// 子類需要釋放的資源
releaseOutputResource();
} catch (Exception exception) {
log.error("do releaseOutputResource error", exception);
}
if (null!=grabber) {
try {
grabber.close();
} catch (Exception exception) {
log.error("close grabber error", exception);
}
}
}
/**
* 整合了所有初始化操作
* @throws Exception
*/
private void init() throws Exception {
long startTime = System.currentTimeMillis();
// 設定ffmepg日誌級別
avutil.av_log_set_level(avutil.AV_LOG_INFO);
FFmpegLogCallback.set();
// 例項化、初始化幀抓取器
initGrabber();
// 例項化、初始化輸出操作相關的資源，
// 具體怎麼輸出由子類決定，例如視窗預覽、存視訊檔案等
initOutput();
log.info("初始化完成，耗時[{}]毫秒，幀率[{}]，影像寬度[{}]，影像高度[{}]",
System.currentTimeMillis()-startTime,
frameRate,
cameraImageWidth,
cameraImageHeight);
}
/**
* 執行抓取和輸出的操作
*/
public void action(int grabSeconds) {
try {
// 初始化操作
init();
// 持續拉取和推送
grabAndOutput(grabSeconds);
} catch (Exception exception) {
log.error("execute action error", exception);
} finally {
// 無論如何都要釋放資源
safeRelease();
}
}
}
- 上述程式碼有以下幾處要注意：
- 負責從攝像頭取資料的是OpenCVFrameGrabber物件，即幀抓取器
- initGrabber方法中，通過setImageWidth和setImageHeight方法為幀抓取器設定影像的寬和高，其實也可以不用設定寬高，由幀抓取器自動適配，但是考慮到有些攝像頭支援多種解析度，所以還是按照自己的實際情況來主動設定
- grabAndOutput方法中，使用了while迴圈來不斷地取幀、處理、輸出，這個while迴圈的結束條件是指定時長，這樣的結束條件可能滿足不了您的需要，請按照您的實際情況自行調整（例如檢測某個按鍵是否按下）
- grabAndOutput方法中，將取到的幀轉為Mat物件，然後在Mat物件上新增文字，內容是當前時間，再將Mat物件轉為幀物件，將此幀物件傳給子類的output方法，如此一來，子類做處理和輸出的時候，拿到的幀都有了時間水印
- 至此，父類已經完成，接下來的實戰，我們們只要專注用子類處理和輸出幀資料即可
部署媒體伺服器
- 《JavaCV的攝像頭實戰》系列的一些實戰涉及到推流和遠端播放，這就要用到流媒體伺服器了，流媒體伺服器的作用如下圖，我們們也在這一篇提前部署好：
- 關於媒體伺服器的型別，我選的是常用的nginx-rtmp，簡單起見，找了一臺linux電腦，在上面用docker來部署，也就是一行命令的事兒：
docker run -d --name nginx_rtmp -p 1935:1935 -p 18080:80 alfg/nginx-rtmp:v1.3.1
- 另外還有個特殊情況，就是我這邊有個閒置的樹莓派3B，也可以用來做媒體伺服器，也是用docker部署的，這裡要注意映象要選用shamelesscookie/nginx-rtmp-ffmpeg:latest，這個映象有ARM64版本，適合在樹莓派上使用：
docker run -d --name nginx_rtmp -p 1935:1935 -p 18080:80 shamelesscookie/nginx-rtmp-ffmpeg:latest
- 至此，《JavaCV的攝像頭實戰》系列的準備工作已經完成，接下來的文章，開始精彩的體驗之旅吧，欣宸原創，必不讓您失望~