Qt/C++音影片開發78-獲取本地攝像頭支援的解析度/幀率/格式等資訊/mjpeg/yuyv/h264

一、前言

上一篇文章講到用ffmpeg命令方式執行列印到日誌輸出，可以拿到本地攝像頭裝置資訊，順藤摸瓜，發現可以透過執行 ffmpeg -f dshow -list_options true -i video="Webcam" 命令獲取指定攝像頭裝置的解析度幀率格式等資訊，會有很多條。那為什麼需要這個功能呢？現場大量應用下來，儘管提供了本地攝像頭裝置下拉框選擇，但是還需要設定解析度幀率等，因為有時候需要以1080P解析度採集裝置，有時候僅僅需要640P解析度採集即可，那怎麼知道裝置支援哪些解析度呢？不然使用者填入一個不支援的解析度，會導致開啟失敗，原因茫茫然，不僅解析度，幀率和格式也是可以設定的，這些資訊當然裝置廠家提供的手冊是可以找到的，關鍵是很多時候根本找不到廠家。

查閱win系統自帶的相機是會自動識別並列舉支援的解析度幀率資訊，所有肯定是有辦法獲取到的，一個最簡單的方式就是透過執行 -list_options 引數來獲取裝置的引數集合，然後從結果中過濾需要的引數即可。隨著時代的發展，現在還有264格式的攝像頭，所以還需要指定採集格式，都是可以透過引數獲取的。

二、效果圖

三、體驗地址

1. 國內站點：https://gitee.com/feiyangqingyun
2. 國際站點：https://github.com/feiyangqingyun
3. 個人作品：https://blog.csdn.net/feiyangqingyun/article/details/97565652
4. 體驗地址：https://pan.baidu.com/s/1d7TH_GEYl5nOecuNlWJJ7g 提取碼：01jf 檔名：bin_video_demo。
5. 影片主頁：https://space.bilibili.com/687803542

四、功能特點

4.1. 基礎功能

1. 支援各種音訊影片檔案格式，比如mp3、wav、mp4、asf、rm、rmvb、mkv等。
2. 支援本地攝像頭裝置和本地桌面採集，支援多裝置和多螢幕。
3. 支援各種影片流格式，比如rtp、rtsp、rtmp、http、udp等。
4. 本地音影片檔案和網路音影片檔案，自動識別檔案長度、播放進度、音量大小、靜音狀態等。
5. 檔案可以指定播放位置、調節音量大小、設定靜音狀態等。
6. 支援倍速播放檔案，可選0.5倍、1.0倍、2.5倍、5.0倍等速度，相當於慢放和快放。
7. 支援開始播放、停止播放、暫停播放、繼續播放。
8. 支援抓拍截圖，可指定檔案路徑，可選抓拍完成是否自動顯示預覽。
9. 支援錄影儲存，手動開始錄影、停止錄影，部分核心支援暫停錄影後繼續錄影，跳過不需要錄影的部分。
10. 支援無感知切換迴圈播放、自動重連等機制。
11. 提供播放成功、播放完成、收到解碼圖片、收到抓拍圖片、影片尺寸變化、錄影狀態變化等訊號。
12. 多執行緒處理，一個解碼一個執行緒，不卡主介面。

4.2. 特色功能

1. 同時支援多種解碼核心，包括qmedia核心（Qt4/Qt5/Qt6）、ffmpeg核心（ffmpeg2/ffmpeg3/ffmpeg4/ffmpeg5/ffmpeg6）、vlc核心（vlc2/vlc3）、mpv核心（mpv1/mp2）、mdk核心、海康sdk、easyplayer核心等。
2. 非常完善的多重基類設計，新增一種解碼核心只需要實現極少的程式碼量，就可以應用整套機制，極易擴充。
3. 同時支援多種畫面顯示策略，自動調整（原始解析度小於顯示控制元件尺寸則按照原始解析度大小顯示，否則等比縮放）、等比縮放（永遠等比縮放）、拉伸填充（永遠拉伸填充）。所有核心和所有影片顯示模式下都支援三種畫面顯示策略。
4. 同時支援多種影片顯示模式，控制代碼模式（傳入控制元件控制代碼交給對方繪製控制）、繪製模式（回撥拿到資料後轉成QImage用QPainter繪製）、GPU模式（回撥拿到資料後轉成yuv用QOpenglWidget繪製）。
5. 支援多種硬體加速型別，ffmpeg可選dxva2、d3d11va等，vlc可選any、dxva2、d3d11va，mpv可選auto、dxva2、d3d11va，mdk可選dxva2、d3d11va、cuda、mft等。不同的系統環境有不同的型別選擇，比如linux系統有vaapi、vdpau，macos系統有videotoolbox。
6. 解碼執行緒和顯示窗體分離，可指定任意解碼核心掛載到任意顯示窗體，動態切換。
7. 支援共享解碼執行緒，預設開啟並且自動處理，當識別到相同的影片地址，共享一個解碼執行緒，在網路影片環境中可以大大節約網路流量以及對方裝置的推流壓力。國內頂尖影片廠商均採用此策略。這樣只要拉一路影片流就可以共享到幾十個幾百個通道展示。
8. 自動識別影片旋轉角度並繪製，比如手機上拍攝的影片一般是旋轉了90度的，播放的時候要自動旋轉處理，不然預設是倒著的。
9. 自動識別影片流播放過程中解析度的變化，在影片控制元件上自動調整尺寸。比如攝像機可以在使用過程中動態配置解析度，當解析度改動後對應影片控制元件也要做出同步反應。
10. 音影片檔案無感知自動切換迴圈播放，不會出現切換期間黑屏等肉眼可見的切換痕跡。
11. 影片控制元件同時支援任意解碼核心、任意畫面顯示策略、任意影片顯示模式。
12. 影片控制元件懸浮條同時支援控制代碼、繪製、GPU三種模式，非絕對座標移來移去。
13. 本地攝像頭裝置支援指定裝置名稱、解析度、幀率進行播放。
14. 本地桌面採集支援設定採集區域、偏移值、指定桌面索引、幀率、多個桌面同時採集等。還支援指定視窗標題採集固定視窗。
15. 錄影檔案同時支援開啟的影片檔案、本地攝像頭、本地桌面、網路影片流等。
16. 瞬間響應開啟和關閉，無論是開啟不存在的影片或者網路流，探測裝置是否存在，讀取中的超時等待，收到關閉指令立即中斷之前的操作並響應。
17. 支援開啟各種圖片檔案，支援本地音影片檔案拖曳播放。
18. 影片流通訊方式可選tcp/udp，有些裝置可能只提供了某一種協議通訊比如tcp，需要指定該種協議方式開啟。
19. 可設定連線超時時間（影片流探測用的超時時間）、讀取超時時間（採集過程中的超時時間）。
20. 支援逐幀播放，提供上一幀/下一幀函式介面，可以逐幀查閱採集到的影像。
21. 音訊檔案自動提取專輯資訊比如標題、藝術家、專輯、專輯封面，自動顯示專輯封面。
22. 影片響應極低延遲0.2s左右，極速響應開啟影片流0.5s左右，專門做了最佳化處理。
23. 支援H264/H265編碼（現在越來越多的監控攝像頭是H265影片流格式）生成影片檔案，內部自動識別切換編碼格式。
24. 支援使用者資訊中包含特殊字元（比如使用者資訊中包含+#@等字元）的影片流播放，內建解析轉義處理。
25. 支援濾鏡，各種水印及圖形效果，支援多個水印和影像，可以將OSD標籤資訊和各種圖形資訊寫入到MP4檔案。
26. 支援影片流中的各種音訊格式，AAC、PCM、G.726、G.711A、G.711Mu、G.711ulaw、G.711alaw、MP2L2等都支援，推薦選擇AAC相容性跨平臺性最好。
27. 核心ffmpeg採用純qt+ffmpeg解碼，非sdl等第三方繪製播放依賴，gpu繪製採用qopenglwidget，音訊播放採用qaudiooutput。
28. 核心ffmpeg和核心mdk支援安卓，其中mdk支援安卓硬解碼，效能非常兇殘。
29. 可以切換音影片軌道，也就是節目通道，可能ts檔案帶了多個音影片節目流，可以分別設定要播放哪一個，可以播放前設定好和播放過程中動態設定。
30. 可以設定影片旋轉角度，可以播放前設定好和播放過程中動態改變。
31. 影片控制元件懸浮條自帶開始和停止錄影切換、聲音靜音切換、抓拍截圖、關閉影片等功能。
32. 音訊元件支援聲音波形值資料解析，可以根據該值繪製波形曲線和柱狀聲音條，預設提供了聲音振幅訊號。
33. 標籤和圖形資訊支援三種繪製方式，繪製到遮罩層、繪製到圖片、源頭繪製（對應資訊可以儲存到檔案）。
34. 透過傳入一個url地址，該地址可以帶上通訊協議、解析度、幀率等資訊，無需其他設定。
35. 儲存影片到檔案支援三種策略，自動處理、僅限檔案、全部轉碼，轉碼策略支援自動識別、轉264、轉265，編碼儲存支援指定解析度縮放或者等比例縮放。比如對儲存檔案體積有要求可以指定縮放後再儲存。
36. 支援加密儲存檔案和解密播放檔案，可以指定秘鑰文字。
37. 提供的監控佈局類支援64通道同時顯示，還支援各種異型佈局，比如13通道，手機上6行2列布局。各種佈局可以自由定義。
38. 支援電子放大，在懸浮條切換到電子放大模式，在畫面上選擇需要放大的區域，選取完畢後自動放大，再次切換放大模式可以復位。
39. 各元件中極其詳細的列印資訊提示，尤其是報錯資訊提示，封裝的統一列印格式。針對現場複雜的裝置環境測試極其方便有用，相當於精確定位到具體哪個通道哪個步驟出錯。
40. 同時提供了簡單示例、影片播放器、多畫面影片監控、監控回放、逐幀播放、多屏渲染等單獨窗體示例，專門演示對應功能如何使用。
41. 監控回放可選不同廠家型別、回放時間段、使用者資訊、指定通道。支援切換回放進度。
42. 可以從音效卡裝置下拉框選擇音效卡播放聲音，提供對應的切換音效卡函式介面。
43. 支援編譯到手機app使用，提供了專門的手機app佈局介面，可以作為手機上的影片監控使用。
44. 程式碼框架和結構最佳化到最優，效能強悍，註釋詳細，持續迭代更新升級。
45. 原始碼支援windows、linux、mac、android等，支援各種國產linux系統，包括但不限於統信UOS/中標麒麟/銀河麒麟等。還支援嵌入式linux。
46. 原始碼支援Qt4、Qt5、Qt6，相容所有版本。

4.3. 影片控制元件

1. 可動態新增任意多個osd標籤資訊，標籤資訊包括名字、是否可見、字號大小、文字文字、文字顏色、背景顏色、標籤圖片、標籤座標、標籤格式（文字、日期、時間、日期時間、圖片）、標籤位置（左上角、左下角、右上角、右下角、居中、自定義座標）。
2. 可動態新增任意多個圖形資訊，這個非常有用，比如人工智慧演算法解析後的圖形區域資訊直接發給影片控制元件即可。圖形資訊支援任意形狀，直接繪製在原始圖片上，採用絕對座標。
3. 圖形資訊包括名字、邊框大小、邊框顏色、背景顏色、矩形區域、路徑集合、點座標集合等。
4. 每個圖形資訊都可指定三種區域中的一種或者多種，指定了的都會繪製。
5. 內建懸浮條控制元件，懸浮條位置支援頂部、底部、左側、右側。
6. 懸浮條控制元件引數包括邊距、間距、背景透明度、背景顏色、文字顏色、按下顏色、位置、按鈕圖示程式碼集合、按鈕名稱標識集合、按鈕提示資訊集合。
7. 懸浮條控制元件一排工具按鈕可自定義，透過結構體引數設定，圖示可選圖形字型還是自定義圖片。
8. 懸浮條按鈕內部實現了錄影切換、抓拍截圖、靜音切換、關閉影片等功能，也可以自行在原始碼中增加自己對應的功能。
9. 懸浮條按鈕對應實現了功能的按鈕，有對應圖示切換處理，比如錄影按鈕按下後會切換到正在錄影中的圖示，聲音按鈕切換後變成靜音圖示，再次切換還原。
10. 懸浮條按鈕單擊後都用名稱唯一標識作為訊號發出，可以自行關聯響應處理。
11. 懸浮條空白區域可以顯示提示資訊，預設顯示當前影片解析度大小，可以增加幀率、碼流大小等資訊。
12. 影片控制元件引數包括邊框大小、邊框顏色、焦點顏色、背景顏色（預設透明）、文字顏色（預設全域性文字顏色）、填充顏色（影片外的空白處填充黑色）、背景文字、背景圖片（如果設定了圖片優先取圖片）、是否複製圖片、縮放顯示模式（自動調整、等比縮放、拉伸填充）、影片顯示模式（控制代碼、繪製、GPU）、啟用懸浮條、懸浮條尺寸（橫向為高度、縱向為寬度）、懸浮條位置（頂部、底部、左側、右側）。

五、相關程式碼

#include "ffmpegdevice.h"
#include "widgethead.h"

QString FFmpegDevice::logType = QString();
QString FFmpegDevice::logFlag = QString();
QStringList FFmpegDevice::logResult = QStringList();

void FFmpegDevice::logCallback(void *ptr, int level, const char *fmt, va_list vl)
{
    static QMutex mutex;
    QMutexLocker locker(&mutex);

    char buf[1024];
    vsprintf(buf, fmt, vl);
    QString line = buf;
    line = line.trimmed();
    line.replace("\r", "");
    line.replace("\n", "");
    line.replace("\"", "");
    //qDebug() << TIMEMS << line;

    //根據不同的型別解析不同的結果
    if (FFmpegDevice::logType == "list_devices") {
        FFmpegDevice::log_list_devices(line);
    } else if (FFmpegDevice::logType == "list_options") {
        FFmpegDevice::log_list_options(line);
    }
}

void FFmpegDevice::log_list_devices(const QString &line)
{
#if (FFMPEG_VERSION_MAJOR < 5)
    //搞個標記記錄接下來是什麼結果
    if (line.startsWith("DirectShow video devices")) {
        FFmpegDevice::logFlag = "video";
    } else if (line.startsWith("DirectShow audio devices")) {
        FFmpegDevice::logFlag = "audio";
    }

    //過濾一些不需要的結果
    if (line.startsWith("DirectShow") || line.startsWith("Alternative")) {
        return;
    }

    QString result = QString("%1|%2").arg(FFmpegDevice::logFlag).arg(line);
    if (!FFmpegDevice::logResult.contains(result)) {
        FFmpegDevice::logResult << result;
    }
#else
    if (line.startsWith("(video") || line.startsWith("(audio")) {
        QString type = line.mid(1, line.length());
        QString result = QString("%1|%2").arg(type).arg(FFmpegDevice::logFlag);
        if (!FFmpegDevice::logResult.contains(result)) {
            FFmpegDevice::logResult << result;
        }
    } else {
        FFmpegDevice::logFlag = line;
    }
#endif
}

void FFmpegDevice::log_list_options(const QString &line)
{
    //搞個標記記錄接下來是什麼結果
    if (line.startsWith("vcodec=") || line.startsWith("pixel_format=")) {
        FFmpegDevice::logFlag = line;
    }

    if (line.startsWith("min s=") && !FFmpegDevice::logFlag.isEmpty()) {
        QString result = QString("%1 %2").arg(FFmpegDevice::logFlag).arg(line);
        if (!FFmpegDevice::logResult.contains(result)) {
            FFmpegDevice::logResult << result;
        }
    }

    //音訊裝置引數
    if (line.contains("ch=")) {
        FFmpegDevice::logResult << line;
    }
}

void FFmpegDevice::getInputDevices(bool video, QStringList &devices)
{
    QStringList names;

    //ffmpeg5以上版本可以直接透過函式獲取
#if (FFMPEG_VERSION_MAJOR < 5)
    QStringList infos = FFmpegDevice::getInputDevices(video ? Device_Video : Device_Audio);
    foreach (QString info, infos) {
        QString name = info.split("|").last();
        if (video && info.startsWith("video")) {
            names << name;
        } else if (!video && info.startsWith("audio")) {
            names << name;
        }
    }
#else
#ifdef ffmpegdevice
    names << FFmpegDevice::getInputDevices(video);
#endif
#endif

    //去重複加入到集合
    //qDebug() << video << names;
    foreach (QString name, names) {
        if (!devices.contains(name)) {
            devices << name;
        }
    }
}

//安裝工具命令 sudo apt-get install v4l-utils
//獲取所有裝置 v4l2-ctl --list-devices
//獲取所有格式 v4l2-ctl --list-formats -d /dev/video0
//獲取所有引數 v4l2-ctl --list-formats-ext -d /dev/video0

//ffmpeg -f dshow -list_devices true -i dummy
QStringList FFmpegDevice::getInputDevices(const char *flag)
{
    FFmpegHelper::initLib();

    //啟用日誌回撥接收輸出資訊
    av_log_set_callback(FFmpegDevice::logCallback);

    //設定相關引數以便記錄對應結果
    FFmpegDevice::logType = "list_devices";
    FFmpegDevice::logFlag.clear();
    FFmpegDevice::logResult.clear();

    AVFormatContext *ctx = avformat_alloc_context();
    AVInputFormatx *fmt = av_find_input_format(flag);

    AVDictionary *opts = NULL;
    av_dict_set(&opts, "list_devices", "true", 0);

    if (strcmp(flag, "vfwcap") == 0) {
        avformat_open_input(&ctx, "list", fmt, NULL);
    } else if (strcmp(flag, "dshow") == 0) {
        avformat_open_input(&ctx, "dummy", fmt, &opts);
    } else {
        avformat_open_input(&ctx, "", fmt, &opts);
    }

    //釋放資源
    av_dict_free(&opts);
    avformat_close_input(&ctx);

    //重新設定日誌回撥以便恢復原樣
    av_log_set_callback(av_log_default_callback);

    //取出日誌結果
    return FFmpegDevice::logResult;
}

QStringList FFmpegDevice::getDeviceOption(const QString &url)
{
    const char *flag = (url.startsWith("video=") ? Device_Video : Device_Audio);
    QString device = url;
#ifndef Q_OS_WIN
    device.replace("video=", "");
    device.replace("audio=", "");
#endif

    return FFmpegDevice::getDeviceOption(flag, device);
}

//ffmpeg -f dshow -list_options true -i video="Webcam"
QStringList FFmpegDevice::getDeviceOption(const char *flag, const QString &device)
{
    FFmpegHelper::initLib();

    //啟用日誌回撥接收輸出資訊
    av_log_set_callback(FFmpegDevice::logCallback);

    //設定相關引數以便記錄對應結果
    FFmpegDevice::logType = "list_options";
    FFmpegDevice::logFlag.clear();
    FFmpegDevice::logResult.clear();

    AVFormatContext *ctx = avformat_alloc_context();
    AVInputFormatx *fmt = av_find_input_format(flag);

    AVDictionary *opts = NULL;
    av_dict_set(&opts, "list_options", "true", 0);
    avformat_open_input(&ctx, device.toUtf8().constData(), fmt, &opts);

    //釋放資源
    av_dict_free(&opts);
    avformat_close_input(&ctx);

    //重新設定日誌回撥以便恢復原樣
    av_log_set_callback(av_log_default_callback);

    //取出日誌結果
    return FFmpegDevice::logResult;
}

#ifdef ffmpegdevice
QStringList FFmpegDevice::getInputDevices(bool video)
{
    FFmpegHelper::initLib();

    //測試發現從ffmpeg5開始才能獲取到值(以前的版本內部沒有實現)
    QStringList names;
    AVDeviceInfoList *devices = NULL;
    AVInputFormatx *fmt = NULL;
    fmt = av_find_input_format(video ? Device_Video : Device_Audio);
    if (fmt) {
        if (avdevice_list_input_sources(fmt, NULL, NULL, &devices) >= 0) {
            names = getDeviceNames(devices, video);
        }
    }

    return names;
}

QStringList FFmpegDevice::getDeviceNames(bool input, bool video)
{
    FFmpegHelper::initLib();

    QStringList names;
    AVDeviceInfoList *devices = NULL;
    if (input) {
        AVInputFormatx *fmt = NULL;
        do {
            names.clear();
            fmt = (video ? av_input_video_device_next(fmt) : av_input_audio_device_next(fmt));
            if (fmt) {
                if (avdevice_list_input_sources(fmt, NULL, NULL, &devices) >= 0) {
                    names = getDeviceNames(devices, video);
                }
                //qDebug() << "input" << fmt->name << names;
            }
        } while (fmt);
    } else {
        AVOutputFormatx *fmt = NULL;
        do {
            names.clear();
            fmt = (video ? av_output_video_device_next(fmt) : av_output_audio_device_next(fmt));
            if (fmt) {
                if (avdevice_list_output_sinks(fmt, NULL, NULL, &devices) >= 0) {
                    names = getDeviceNames(devices, video);
                }
                //qDebug() << "output" << fmt->name << names;
            }
        } while (fmt);
    }

    return names;
}

QStringList FFmpegDevice::getDeviceNames(AVDeviceInfoList *devices, bool video)
{
    QStringList names;
    int count = devices->nb_devices;
    for (int i = 0; i < count; ++i) {
        AVDeviceInfo *device = devices->devices[i];
#if (FFMPEG_VERSION_MAJOR > 4)
        if (device->nb_media_types > 0) {
            AVMediaType type = *device->media_types;
            if ((video && type != AVMEDIA_TYPE_VIDEO) || (!video && type != AVMEDIA_TYPE_AUDIO)) {
                continue;
            }
        }
#endif
        //在win上裝置名傳描述符/linux是裝置名
#ifdef Q_OS_WIN
        names << device->device_description;
#else
        names << device->device_name;
#endif
    }

    //釋放裝置列表
    avdevice_free_list_devices(&devices);
    return names;
}
#endif