Java版流媒體編解碼和影像處理(JavaCPP+FFmpeg)

歡迎訪問我的GitHub

https://github.com/zq2599/blog_demos

內容：所有原創文章分類彙總及配套原始碼，涉及Java、Docker、Kubernetes、DevOPS等；

FFmpeg、JavaCPP、JavaCV的關係

• 先簡單的梳理一下FFmpeg、JavaCPP、JavaCV的關係：

1. FFmpeg、OpenCV可以理解成C語言版的本地庫（Native library），Java應用無法直接使用
2. JavaCPP將FFmpeg、OpenCV這些常用庫做了包裝（wrapper），使得Java應用也能使用這些Native API（JavaCPP的底層實現是JNI）
3. 這些JavaCPP包裝後的API，被JavaCV封裝成了工具類（utility classes），這些工具類比原生API更簡單易用

• 簡單的說如下圖所示，JavaCPP是Native API轉Java API，JavaCV是Java API封裝成工具類，這些工具類更加簡單易用：

學習目的

• 欣宸的目標是學習和掌握JavaCV，而深入JavaCV內部去了解它用到的JavaCPP，就相當於打好基礎，今後使用JavaCV的時候，也能看懂其內部的實現原理；
• 於是乎，通過JavaCPP使用FFmpeg就成了基本功，本文會開發一個java應用，呼叫JavaCPP的API完成以下任務：

1. 開啟指定的流媒體
2. 取一幀解碼，得到YUV420P格式的影像
3. 將YUV420P格式的影像轉為YUVJ420P格式
4. 將影像用jpg格式儲存在指定位置
5. 釋放所有開啟的資源

• 可見上述一系列步驟已覆蓋編解碼和影像處理等常見操作，對我們們瞭解FFmpeg庫有很大幫助

知識儲備

• 在實際編碼前，建議您對FFmpeg的重要資料結構和API做一些瞭解，這方面最經典的資料莫過於雷神的系列教程了，尤其是解協議、解封裝、解碼涉及到的資料結構(上下文)和API，都應該簡單瞭解一遍

• 如果您實在太忙沒有時間翻閱這些經典，我這準備了一份快餐版，對重要知識點做了簡單的小結，這裡要申明一下：欣宸的快餐版遠不如雷神的經典系列...

• 先看資料結構，主要分為媒體資料和上下文兩大類，以及底層指標對應的java類：

• 接著是常用API，按照雷神的解協議、解封裝、解碼思路（還有反過來的編碼和封裝處理）去分類和理解，很容易將它們梳理清楚：

版本資訊

本次編碼涉及的作業系統、軟體、庫的版本資訊如下：

1. 作業系統：win10 64位
2. IDE：IDEA 2021.1.3 (Ultimate Edition)
3. JDK：1.8.0_291
4. maven：3.8.1
5. javacpp：1.4.3
6. ffmpeg：4.0.2（所以ffmpeg-platform庫的版本是4.0.2-1.4.3）

原始碼下載

• 本篇實戰中的完整原始碼可在GitHub下載到，地址和連結資訊如下表所示(https://github.com/zq2599/blog_demos)：

名稱	連結	備註
專案主頁	https://github.com/zq2599/blog_demos	該專案在GitHub上的主頁
git倉庫地址(https)	https://github.com/zq2599/blog_demos.git	該專案原始碼的倉庫地址，https協議
git倉庫地址(ssh)	git@github.com:zq2599/blog_demos.git	該專案原始碼的倉庫地址，ssh協議

• 這個git專案中有多個資料夾，本篇的原始碼在javacv-tutorials資料夾下，如下圖紅框所示：

• javacv-tutorials資料夾下有多個子工程，本篇的原始碼在ffmpeg-basic資料夾下，如下圖紅框：

開始編碼

• 為了統一管理原始碼和jar依賴，專案採用了maven父子結構，父工程名為javacv-tutorials，裡面有一些jar的版本定義，就不多說了

• 在javacv-tutorials下面新建名為ffmpeg-basic的子工程，其pom.xml內容如下，可見僅用了JavaCPP，並未用到JavaCV：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <parent>
        <artifactId>javacv-tutorials</artifactId>
        <groupId>com.bolingcavalry</groupId>
        <version>1.0-SNAPSHOT</version>
    </parent>
    <modelVersion>4.0.0</modelVersion>

    <artifactId>ffmpeg-basic</artifactId>

    <dependencies>
        <dependency>
            <groupId>org.bytedeco</groupId>
            <artifactId>javacpp</artifactId>
        </dependency>
        <dependency>
            <groupId>org.bytedeco.javacpp-presets</groupId>
            <artifactId>ffmpeg-platform</artifactId>
        </dependency>

        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
        </dependency>

        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-api</artifactId>
        </dependency>

        <dependency>
            <groupId>ch.qos.logback</groupId>
            <artifactId>logback-classic</artifactId>
        </dependency>
    </dependencies>
</project>

• 接下來開始編碼，先寫一個最簡單的內部類，將AVFrame和它對應的資料指標BytePointer都放在這個類中，在呼叫方法的時候便於傳遞：

class FrameData {

    AVFrame avFrame;
    BytePointer buffer;

    public FrameData(AVFrame avFrame, BytePointer buffer) {
        this.avFrame = avFrame;
        this.buffer = buffer;
    }
}

• 接下來是整個程式最重要的方法openMediaAndSaveImage，該方法是整個程式的主體，負責將開啟流媒體、解碼、轉格式、儲存、釋放等五個步驟串起來，外部只要呼叫這個方法就能完成整個功能：

/**
     * 開啟流媒體，取一幀，轉為YUVJ420P，再儲存為jpg檔案
     * @param url
     * @param out_file
     * @throws IOException
     */
    public void openMediaAndSaveImage(String url,String out_file) throws IOException {
        log.info("正在開啟流媒體 [{}]", url);

        // 開啟指定流媒體，進行解封裝，得到解封裝上下文
        AVFormatContext pFormatCtx = getFormatContext(url);

        if (null==pFormatCtx) {
            log.error("獲取解封裝上下文失敗");
            return;
        }

        // 控制檯列印流媒體資訊
        av_dump_format(pFormatCtx, 0, url, 0);

        // 流媒體解封裝後有一個儲存了所有流的陣列，videoStreamIndex表示視訊流在陣列中的位置
        int videoStreamIndex = getVideoStreamIndex(pFormatCtx);

        // 找不到視訊流就直接返回
        if (videoStreamIndex<0) {
            log.error("沒有找到視訊流");
            return;
        }

        log.info("視訊流在流陣列中的第[{}]個流是視訊流(從0開始)", videoStreamIndex);

        // 得到解碼上下文，已經完成了初始化
        AVCodecContext pCodecCtx = getCodecContext(pFormatCtx, videoStreamIndex);

        if (null==pCodecCtx) {
            log.error("生成解碼上下文失敗");
            return;
        }

        // 從視訊流中解碼一幀
        AVFrame pFrame = getSingleFrame(pCodecCtx,pFormatCtx, videoStreamIndex);

        if (null==pFrame) {
            log.error("從視訊流中取幀失敗");
            return;
        }

        // 將YUV420P影像轉成YUVJ420P
        // 轉換後的圖片的AVFrame，及其對應的資料指標，都放在frameData物件中
        FrameData frameData = YUV420PToYUVJ420P(pCodecCtx, pFrame);

        if (null==frameData) {
            log.info("YUV420P格式轉成YUVJ420P格式失敗");
            return;
        }

        // 持久化儲存
        saveImg(frameData.avFrame,out_file);

        // 按順序釋放
        release(true, null, null, pCodecCtx, pFormatCtx, frameData.buffer, frameData.avFrame, pFrame);

        log.info("操作成功");
    }

• 現在整體邏輯已經清楚了，再來看裡面openMediaAndSaveImage裡面呼叫的那些方法的原始碼，先看開啟流媒體的getFormatContext：

    /**
     * 生成解封裝上下文
     * @param url
     * @return
     */
    private AVFormatContext getFormatContext(String url) {
        // 解封裝上下文
        AVFormatContext pFormatCtx = new avformat.AVFormatContext(null);

        // 開啟流媒體
        if (avformat_open_input(pFormatCtx, url, null, null) != 0) {
            log.error("開啟媒體失敗");
            return null;
        }

        // 讀取流媒體資料，以獲得流的資訊
        if (avformat_find_stream_info(pFormatCtx, (PointerPointer<Pointer>) null) < 0) {
            log.error("獲得媒體流資訊失敗");
            return null;
        }

        return pFormatCtx;
    }

• 流媒體解封裝後有一個儲存了所有流的陣列，getVideoStreamIndex方法會找到視訊流在陣列中的位置：

    /**
     * 流媒體解封裝後得到多個流組成的陣列，該方法找到視訊流咋陣列中的位置
     * @param pFormatCtx
     * @return
     */
    private static int getVideoStreamIndex(AVFormatContext pFormatCtx) {
        int videoStream = -1;

        // 解封裝後有多個流，找出視訊流是第幾個
        for (int i = 0; i < pFormatCtx.nb_streams(); i++) {
            if (pFormatCtx.streams(i).codec().codec_type() == AVMEDIA_TYPE_VIDEO) {
                videoStream = i;
                break;
            }
        }

        return videoStream;
    }

• 解封裝之後就是解碼，getCodecContext方法得到解碼上下文物件：

    /**
     * 生成解碼上下文
     * @param pFormatCtx
     * @param videoStreamIndex
     * @return
     */
    private AVCodecContext getCodecContext(AVFormatContext pFormatCtx, int videoStreamIndex) {
        //解碼器
        AVCodec pCodec;

        // 得到解碼上下文
        AVCodecContext pCodecCtx = pFormatCtx.streams(videoStreamIndex).codec();

        // 根據解碼上下文得到解碼器
        pCodec = avcodec_find_decoder(pCodecCtx.codec_id());

        if (pCodec == null) {
            return null;
        }

        // 用解碼器來初始化解碼上下文
        if (avcodec_open2(pCodecCtx, pCodec, (AVDictionary)null) < 0) {
            return null;
        }

        return pCodecCtx;
    }

• 緊接著從視訊流解碼取幀解碼：

    /**
     * 取一幀然後解碼
     * @param pCodecCtx
     * @param pFormatCtx
     * @param videoStreamIndex
     * @return
     */
    private AVFrame getSingleFrame(AVCodecContext pCodecCtx, AVFormatContext pFormatCtx, int videoStreamIndex) {
        // 分配幀物件
        AVFrame pFrame = av_frame_alloc();

        // frameFinished用於檢查是否有影像
        int[] frameFinished = new int[1];

        // 是否找到的標誌
        boolean exists = false;

        AVPacket packet = new AVPacket();

        try {
            // 每一次while迴圈都會讀取一個packet
            while (av_read_frame(pFormatCtx, packet) >= 0) {
                // 檢查packet所屬的流是不是視訊流
                if (packet.stream_index() == videoStreamIndex) {
                    // 將AVPacket解碼成AVFrame
                    avcodec_decode_video2(pCodecCtx, pFrame, frameFinished, packet);// Decode video frame

                    // 如果有影像就返回
                    if (frameFinished != null && frameFinished[0] != 0 && !pFrame.isNull()) {
                        exists = true;
                        break;
                    }
                }
            }
        } finally {
            // 一定要執行釋放操作
            av_free_packet(packet);
        }

        // 找不到就返回空
        return exists ?  pFrame : null;
    }

• 解碼後的影像是YUV420P格式，我們們將其轉成YUVJ420P：

    /**
     * 將YUV420P格式的影像轉為YUVJ420P格式
     * @param pCodecCtx 解碼上下文
     * @param sourceFrame 源資料
     * @return 轉換後的幀極其對應的資料指標
     */
    private static FrameData YUV420PToYUVJ420P(AVCodecContext pCodecCtx, AVFrame sourceFrame) {
        // 分配一個幀物件，儲存從YUV420P轉為YUVJ420P的結果
        AVFrame pFrameRGB = av_frame_alloc();

        if (pFrameRGB == null) {
            return null;
        }

        int width = pCodecCtx.width(), height = pCodecCtx.height();

        // 一些引數設定
        pFrameRGB.width(width);
        pFrameRGB.height(height);
        pFrameRGB.format(AV_PIX_FMT_YUVJ420P);

        // 計算轉為YUVJ420P之後的圖片位元組數
        int numBytes = avpicture_get_size(AV_PIX_FMT_YUVJ420P, width, height);

        // 分配記憶體
        BytePointer buffer = new BytePointer(av_malloc(numBytes));

        // 圖片處理工具的初始化操作
        SwsContext sws_ctx = sws_getContext(width, height, pCodecCtx.pix_fmt(), width, height, AV_PIX_FMT_YUVJ420P, SWS_BICUBIC, null, null, (DoublePointer) null);

        // 將pFrameRGB的data指標指向剛才分配好的記憶體(即buffer)
        avpicture_fill(new avcodec.AVPicture(pFrameRGB), buffer, AV_PIX_FMT_YUVJ420P, width, height);

        // 轉換影像格式，將解壓出來的YUV420P的影像轉換為YUVJ420P的影像
        sws_scale(sws_ctx, sourceFrame.data(), sourceFrame.linesize(), 0, height, pFrameRGB.data(), pFrameRGB.linesize());

        // 及時釋放
        sws_freeContext(sws_ctx);

        // 將AVFrame和BytePointer打包到FrameData中返回，這兩個物件都要做顯示的釋放操作
        return new FrameData(pFrameRGB, buffer);
    }

• 然後就是另一個很重要方法saveImg，裡面是典型的編碼和輸出流程，我們們前面已經瞭解了開啟媒體流解封裝解碼的操作，現在要看看怎麼製作媒體流，包括編碼、封裝和輸出：

    /**
     * 將傳入的幀以圖片的形式儲存在指定位置
     * @param pFrame
     * @param out_file
     * @return 小於0表示失敗
     */
    private int saveImg(avutil.AVFrame pFrame, String out_file) {
        av_log_set_level(AV_LOG_ERROR);//設定FFmpeg日誌級別（預設是debug，設定成error可以遮蔽大多數不必要的控制檯訊息）

        AVPacket pkt = null;
        AVStream pAVStream = null;

        int width = pFrame.width(), height = pFrame.height();

        // 分配AVFormatContext物件
        avformat.AVFormatContext pFormatCtx = avformat_alloc_context();

        // 設定輸出格式(涉及到封裝和容器)
        pFormatCtx.oformat(av_guess_format("mjpeg", null, null));

        if (pFormatCtx.oformat() == null) {
            log.error("輸出媒體流的封裝格式設定失敗");
            return -1;
        }

        try {
            // 建立並初始化一個和該url相關的AVIOContext
            avformat.AVIOContext pb = new avformat.AVIOContext();

            // 開啟輸出檔案
            if (avio_open(pb, out_file, AVIO_FLAG_READ_WRITE) < 0) {
                log.info("輸出檔案開啟失敗");
                return -1;
            }

            // 封裝之上是協議，這裡將封裝上下文和協議上下文關聯
            pFormatCtx.pb(pb);

            // 構建一個新stream
            pAVStream = avformat_new_stream(pFormatCtx, null);

            if (pAVStream == null) {
                log.error("將新的流放入媒體檔案失敗");
                return -1;
            }

            int codec_id = pFormatCtx.oformat().video_codec();

            // 設定該stream的資訊
            avcodec.AVCodecContext pCodecCtx = pAVStream.codec();
            pCodecCtx.codec_id(codec_id);
            pCodecCtx.codec_type(AVMEDIA_TYPE_VIDEO);
            pCodecCtx.pix_fmt(AV_PIX_FMT_YUVJ420P);
            pCodecCtx.width(width);
            pCodecCtx.height(height);
            pCodecCtx.time_base().num(1);
            pCodecCtx.time_base().den(25);

            // 列印媒體資訊
            av_dump_format(pFormatCtx, 0, out_file, 1);

            // 查詢解碼器
            avcodec.AVCodec pCodec = avcodec_find_encoder(codec_id);
            if (pCodec == null) {
                log.info("獲取解碼器失敗");
                return -1;
            }

            // 用解碼器來初始化解碼上下文
            if (avcodec_open2(pCodecCtx, pCodec, (PointerPointer<Pointer>) null) < 0) {
                log.error("解碼上下文初始化失敗");
                return -1;
            }

            // 輸出的Packet
            pkt = new avcodec.AVPacket();

            // 分配
            if (av_new_packet(pkt, width * height * 3) < 0) {
                return -1;
            }

            int[] got_picture = { 0 };

            // 把流的頭資訊寫到要輸出的媒體檔案中
            avformat_write_header(pFormatCtx, (PointerPointer<Pointer>) null);

            // 把幀的內容進行編碼
            if (avcodec_encode_video2(pCodecCtx, pkt, pFrame, got_picture)<0) {
                log.error("把幀編碼為packet失敗");
                return -1;
            }

            // 輸出一幀
            if ((av_write_frame(pFormatCtx, pkt)) < 0) {
                log.error("輸出一幀失敗");
                return -1;
            }

            // 寫檔案尾
            if (av_write_trailer(pFormatCtx) < 0) {
                log.error("寫檔案尾失敗");
                return -1;
            }

            return 0;
        } finally {
            // 資源清理
            release(false, pkt, pFormatCtx.pb(), pAVStream.codec(), pFormatCtx);
        }
    }

• 最後是釋放資源的操作，請注意釋放不同物件要用到的API也不同，另外AVFormatContext的場景不同用到的API也不同（輸入輸出場景），用錯了就會crash，另外release方法一共被呼叫了兩次，也就說開啟媒體流和輸出媒體流用到的資源和物件，最終都需要釋放和回收：

   /**
     * 釋放資源，順序是先釋放資料，再釋放上下文
     * @param pCodecCtx
     * @param pFormatCtx
     * @param ptrs
     */
    private void release(boolean isInput, AVPacket pkt, AVIOContext pb, AVCodecContext pCodecCtx, AVFormatContext pFormatCtx, Pointer...ptrs) {

        if (null!=pkt) {
            av_free_packet(pkt);
        }

        // 解碼後，這是個陣列，要遍歷處理
        if (null!=ptrs) {
            Arrays.stream(ptrs).forEach(avutil::av_free);
        }

        // 解碼
        if (null!=pCodecCtx) {
            avcodec_close(pCodecCtx);
        }

        // 解協議
        if (null!=pb) {
            avio_close(pb);
        }

        // 解封裝
        if (null!=pFormatCtx) {
            if (isInput) {
                avformat_close_input(pFormatCtx);
            } else {
                avformat_free_context(pFormatCtx);
            }
        }
    }

• 最後寫個main方法，呼叫openMediaAndSaveImage試試，傳入媒體流的地址，以及存放圖片的路徑：

    public static void main(String[] args) throws Exception {
        // CCTV13，1920*1080解析度，不穩定，開啟失敗時請多試幾次
        String url = "http://ivi.bupt.edu.cn/hls/cctv13hd.m3u8";

        // 安徽衛視，1024*576解析度，較為穩定
//        String url = "rtmp://58.200.131.2:1935/livetv/ahtv";
        // 本地視訊檔案，請改為您自己的本地檔案地址
//        String url = "E:\\temp\\202107\\24\\test.mp4";

        // 完整圖片存放路徑，注意檔名是當前的年月日時分秒
        String localPath = "E:\\temp\\202107\\24\\save\\" + new SimpleDateFormat("yyyyMMddHHmmss").format(new Date()) + ".jpg";

        // 開始操作
        new Stream2Image().openMediaAndSaveImage(url, localPath);
    }

• 以上所有程式碼都在子工程ffmpeg-basic的Stream2Image.java檔案中，執行main方法，控制檯輸出如下，可見流媒體開啟成功，並且輸出了詳細的媒體資訊：

18:28:35.553 [main] INFO com.bolingcavalry.basic.Stream2Image - 正在開啟流媒體 [http://ivi.bupt.edu.cn/hls/cctv13hd.m3u8]
18:28:37.062 [main] INFO com.bolingcavalry.basic.Stream2Image - 視訊流在流陣列中的第[0]個流是視訊流(從0開始)
18:28:37.219 [main] INFO com.bolingcavalry.basic.Stream2Image - 操作成功
[hls,applehttp @ 00000188548ab140] Opening 'http://ivi.bupt.edu.cn/hls/cctv13hd-1627208880000.ts' for reading
[hls,applehttp @ 00000188548ab140] Opening 'http://ivi.bupt.edu.cn/hls/cctv13hd-1627208890000.ts' for reading
[NULL @ 000001887ba68bc0] non-existing SPS 0 referenced in buffering period
[NULL @ 000001887ba68bc0] SPS unavailable in decode_picture_timing
[h264 @ 000001887ba6aa80] non-existing SPS 0 referenced in buffering period
[h264 @ 000001887ba6aa80] SPS unavailable in decode_picture_timing
Input #0, hls,applehttp, from 'http://ivi.bupt.edu.cn/hls/cctv13hd.m3u8':
  Duration: N/A, start: 1730.227267, bitrate: N/A
  Program 0 
    Metadata:
      variant_bitrate : 0
    Stream #0:0: Video: h264 (Main) ([27][0][0][0] / 0x001B), yuv420p, 1920x1080 [SAR 1:1 DAR 16:9], 25 fps, 25 tbr, 90k tbn, 50 tbc
    Metadata:
      variant_bitrate : 0
    Stream #0:1: Audio: aac (LC) ([15][0][0][0] / 0x000F), 48000 Hz, 5.1, fltp
    Metadata:
      variant_bitrate : 0
[swscaler @ 000001887cb28bc0] deprecated pixel format used, make sure you did set range correctly

Process finished with exit code 0

• 去儲存圖片的目錄下檢查，圖片已經生成：

• 至此，Java版流媒體解碼存圖的實戰就完成了，我們們對JavaCPP包裝的FFmpeg常用函式有了基本的瞭解，知道了編解碼和影像處理的常見套路，後面在使用JavaCV工具類時，也明白了其內部基本原理，在定位問題、效能優化、深入研究等場景擁有了更多優勢。

你不孤單，欣宸原創一路相伴

1. Java系列
2. Spring系列
3. Docker系列
4. kubernetes系列
5. 資料庫+中介軟體系列
6. DevOps系列

歡迎關注公眾號：程式設計師欣宸

微信搜尋「程式設計師欣宸」，我是欣宸，期待與您一同暢遊Java世界...
https://github.com/zq2599/blog_demos