若該文為原創文章，未經允許不得轉載
原博主部落格地址：https://blog.csdn.net/qq21497936
原博主部落格導航：https://blog.csdn.net/qq21497936/article/details/102478062
本文章部落格地址：https://blog.csdn.net/qq21497936/article/details/108639103
各位讀者，知識無窮而人力有窮，要麼改需求，要麼找專業人士，要麼自己研究
上一篇：《FFmpeg開發筆記（四）：ffmpeg解碼的基本流程詳解》
下一篇：敬請期待
ffmpeg涉及了很多，循序漸進，本篇描述基本的解碼流程，主要ffmpeg解碼流程在ffmpeg3及以後新增的2個api進行了補充，更為詳細可以參考《FFmpeg開發筆記(四)：ffmpeg解碼的基本流程詳解》
ffmpeg的解碼和編碼都遵循其基本的執行流程。
新api解碼基本本流程如下：
以下是老版本api解碼流程：
使用ffmpeg對應的庫，都需要進行註冊，可以註冊子項也可以註冊全部。
開啟檔案，根據檔名資訊獲取對應的ffmpeg全域性上下文。
一定要探測流資訊，拿到流編碼的編碼格式，不探測流資訊則其流編碼器拿到的編碼型別可能為空，後續進行資料轉換的時候就無法知曉原始格式，導致錯誤。
依據流的格式查詢解碼器，軟解碼還是硬解碼是在此處決定的，但是特別注意是否支援硬體，需要自己查詢本地的硬體解碼器對應的標識，並查詢其是否支援。普遍操作是，列舉支援檔案字尾解碼的所有解碼器進行查詢，查詢到了就是可以硬解了（此處，不做過多的討論，對應硬解碼後續會有文章進行進一步研究）。
（注意：解碼時查詢解碼器，編碼時查詢編碼器，兩者函式不同，不要弄錯了，否則後續能開啟但是資料是錯的）
開啟獲取到的解碼器。
此處特別注意，基本上解碼的資料都是yuv系列格式，但是我們顯示的資料是rgb等相關顏色空間的資料，所以此處轉換結構體就是進行轉換前到轉換後的描述，給後續轉換函式提供轉碼依據，是很關鍵並且非常常用的結構體。
申請一個快取區outBuffer，fill到我們目標幀資料的data上，比如rgb資料，QAVFrame的data上存是有指定格式的資料，且儲存有規則，而fill到outBuffer（自己申請的目標格式一幀快取區），則是我們需要的資料格式儲存順序。
舉個例子，解碼轉換後的資料為rgb888，實際直接用data資料是錯誤的，但是用outBuffer就是對的，所以此處應該是ffmpeg的fill函式做了一些轉換。
進入迴圈解碼：
拿取封裝的一個packet，判斷packet資料的型別進行送往解碼器解碼。
一個包可能存在多組資料，老的api獲取的是第一個，新的api分開後，可以迴圈獲取，直至獲取不到跳轉“步驟十二”。
拿到了原始資料自行處理。
不斷迴圈，直到拿取pakcet函式成功，但是無法got一幀資料，則代表檔案解碼已經完成。
幀率需要自己控制迴圈，此處只是迴圈拿取，可加延遲等。
此處要單獨列出是因為，其實很多網上和開發者的程式碼：
在進入迴圈解碼前進行了av_new_packet，迴圈中未av_free_packet，造成記憶體溢位；
在進入迴圈解碼前進行了av_new_packet，迴圈中進行av_free_pakcet，那麼一次new對應無數次free，在編碼器上是不符合前後一一對應規範的。
檢視原始碼，其實可以發現av_read_frame時，自動進行了av_new_packet()，那麼其實對於packet，只需要進行一次av_packet_alloc()即可，解碼完後av_free_packet。
執行完後，返回執行“步驟八：獲取一幀packet”，一次迴圈結束。
全部解碼完成後，安裝申請順序，進行對應資源的釋放。
關閉之前開啟的解碼/編碼器。
關閉檔案上下文後，要對之前申請的變數按照申請的順序，依次釋放。
AVFormatContext描述了一個媒體檔案或媒體流的構成和基本資訊，位於avformat.h檔案中。
AVInputFormat 是類似COM 介面的資料結構，表示輸入檔案容器格式，著重於功能函式，一種檔案容器格式對應一個AVInputFormat 結構，在程式執行時有多個例項，位於avoformat.h檔案中。
AVDictionary 是一個字典集合，鍵值對，用於配置相關資訊。
AVCodecContext是一個描述編解碼器上下文的資料結構，包含了眾多編解碼器需要的引數資訊，位於avcodec.h檔案中。
AVPacket是FFmpeg中很重要的一個資料結構，它儲存瞭解複用（demuxer)之後，解碼（decode）之前的資料（仍然是壓縮後的資料）和關於這些資料的一些附加的資訊，如顯示時間戳（pts），解碼時間戳（dts）,資料時長（duration），所在流媒體的索引（stream_index）等等。
使用前，使用av_packet_alloc()分配，
AVCodec是儲存編解碼器資訊的結構體，位於avcodec.h檔案中。
AVFrame中儲存的是經過解碼後的原始資料。在解碼中，AVFrame是解碼器的輸出；在編碼中，AVFrame是編碼器的輸入。
使用前，使用av_frame_alloc()進行分配。
使用前，使用sws_getContext()進行獲取，主要用於視訊影像的轉換。
void av_register_all(void);
初始化libavformat並註冊所有muxer、demuxer和協議。如果不呼叫此函式，則可以選擇想要指定註冊支援的哪種格式，通過av_register_input_format()、av_register_output_format()。
int avformat_open_input(AVFormatContext **ps,
const char *url,
AVInputFormat *fmt,
AVDictionary **options);
開啟輸入流並讀取標頭。編解碼器未開啟。流必須使用avformat_close_input()關閉，返回0-成功，<0-失敗錯誤碼。
- 引數一：指向使用者提供的AVFormatContext（由avformat_alloc_context分配）的指標。
- 引數二：要開啟的流的url
- 引數三：fmt如果非空，則此引數強制使用特定的輸入格式。否則將自動檢測格式。
- 引數四：包含AVFormatContext和demuxer私有選項的字典。返回時，此引數將被銷燬並替換為包含找不到的選項。都有效則返回為空。
int avformat_find_stream_info(AVFormatContext *ic, AVDictionary **options);
讀取檢查媒體檔案的資料包以獲取具體的流資訊，如媒體存入的編碼格式。
- 引數一：媒體檔案上下文。
- 引數二：字典，一些配置選項。
AVCodec *avcodec_find_decoder(enum AVCodecID id);
查詢具有匹配編解碼器ID的已註冊解碼器，解碼時，已經獲取到了，註冊的解碼器可以通過列舉檢視，列舉太多，略。
int avcodec_open2(AVCodecContext *avctx,
const AVCodec *codec,
AVDictionary **options);
初始化AVCodeContext以使用給定的AVCodec。
struct SwsContext *sws_getContext(int srcW,
int srcH,
enum AVPixelFormat srcFormat,
int dstW,
int dstH,
enum AVPixelFormat dstFormat,
int flags, SwsFilter *srcFilter,
SwsFilter *dstFilter,
const double *param);
分配並返回一個SwsContext。需要它來執行sws_scale()進行縮放/轉換操作。
int avpicture_get_size(enum AVPixelFormat pix_fmt, int width, int height);
返回儲存具有給定引數的影像的快取區域大小。
- 引數一：影像的畫素格式
- 引數二：影像的畫素寬度
- 引數三：影像的畫素高度
int avpicture_fill(AVPicture *picture,
const uint8_t *ptr,
enum AVPixelFormat pix_fmt,
int width,
int height);
根據指定的影像、提供的陣列設定資料指標和線條大小引數。
- 引數一：輸入AVFrame指標，強制轉換為AVPciture即可。
- 引數二：對映到的快取區，開發者自己申請的存放影像資料的快取區。
- 引數三：影像資料的編碼格式。
- 引數四：影像畫素寬度。
- 引數五：影像畫素高度。
int av_read_frame(AVFormatContext *s, AVPacket *pkt);
返回流的下一幀。此函式返回儲存在檔案中的內容，不對有效的幀進行驗證。獲取儲存在檔案中的幀中，併為每個呼叫返回一個。不會的省略有效幀之間的無效資料，以便給解碼器最大可用於解碼的資訊。
返回0是成功，小於0則是錯誤，大於0則是檔案末尾，所以大於等於0是返回成功。
int avcodec_decode_video2(AVCodecContext *avctx,
AVFrame *picture,
int *got_picture_ptr,
const AVPacket *avpkt);
將大小為avpkt->size from avpkt->data的視訊幀解碼為圖片。一些解碼器可以支援單個avpkg包中的多個幀，解碼器將只解碼第一幀。出錯時返回負值，否則返回位元組數，如果沒有幀可以解壓縮，則為0。
- 引數一：編解碼器上下文。
- 引數二：將解碼視訊幀儲存在AVFrame中。
- 引數三：輸入緩衝區的AVPacket。
- 引數四：如果沒有幀可以解壓，那麼得到的圖片是0，否則，它是非零的。
int avcodec_send_packet(AVCodecContext *avctx, const AVPacket *avpkt);
將原始分組資料傳送給解碼器。
在內部，此呼叫將複製相關的AVCodeContext欄位，這些欄位可以影響每個資料包的解碼，並在實際解碼資料包時應用這些欄位。（例如AVCodeContext.skip_frame，這可能會指示解碼器丟棄使用此函式傳送的資料包所包含的幀。）
這個函式可以理解為ffmpeg為多執行緒準備的，將解碼資料幀包送入編碼器理解為一個執行緒，將從編碼器獲取解碼後的資料理解為一個執行緒。
- 引數一：編解碼器上下文
- 引數二：avpkt輸入的AVPacket。通常，這將是一個單一的視訊幀，或幾個完整的音訊幀。資料包的所有權歸呼叫者所有，解碼器不會寫入資料包。解碼器可以建立對分組資料的引用（如果分組沒有被引用計數，則複製它）。與舊的API不同，資料包總是被完全消耗掉，如果它包含多個幀（例如某些音訊編解碼器），則需要在傳送新資料包之前多次呼叫avcodec_receive_frame()。它可以是NULL（或者資料設定為NULL且大小設定為0的AVPacket）；在這種情況下，它被認為是一個重新整理包，它發出流結束的訊號。傳送第一個重新整理包將返回成功。後續的是不必要的，將返回AVERROR ou EOF。如果解碼器仍有幀緩衝，它將在傳送重新整理包後返回它們。
int avcodec_receive_frame(AVCodecContext *avctx, AVFrame *frame);
從解碼器返回解碼輸出資料。這個函式可以理解為ffmpeg為多執行緒準備的，將解碼資料幀包送入編碼器理解為一個執行緒，將從編碼器獲取解碼後的資料理解為一個執行緒。
- 引數一：編解碼器上下文
- 引數二：這將被設定為參考計數的視訊或音訊解碼器分配的幀（取決於解碼器型別）。請注意，函式在執行任何其他操作之前總是呼叫av_frame_unref（frame）。初始化libavformat並註冊所有muxer、demuxer和協議。如果不呼叫此函式，則可以選擇想要指定註冊支援的哪種格式，av_register_input_format()、av_register_output_format()。
int avcodec_decode_video2(AVCodecContext *avctx,
AVFrame *picture,
int *got_picture_ptr,
const AVPacket *avpkt);
將大小為avpkt->size from avpkt->data的視訊幀解碼為圖片。一些解碼器可以支援單個avpkg包中的多個幀，解碼器將只解碼第一幀。出錯時返回負值，否則返回位元組數，如果沒有幀可以解壓縮，則為0。
- 引數一：編解碼器上下文。
- 引數二：將解碼視訊幀儲存在AVFrame中。
- 引數三：輸入緩衝區的AVPacket。
- 引數四：如果沒有幀可以解壓，那麼得到的圖片是0，否則，它是非零的。
int sws_scale(struct SwsContext *c,
const uint8_t *const srcSlice[],
const int srcStride[],
int srcSliceY,
int srcSliceH,
uint8_t *const dst[],
const int dstStride[]);
在srcSlice中縮放影像切片並將結果縮放在dst中切片影像。切片是連續的序列影像中的行。
- 引數一：以前用建立的縮放上下文*sws_getContext()。
- 引數二：包含指向源片段，就是AVFrame的data。
- 引數三：包含每個平面的跨步的陣列，其實就是AVFrame的linesize。
- 引數四：切片在源影像中的位置，從開始計數0對應切片第一行的影像，所以直接填0即可。
- 引數五：源切片的畫素高度。
- 引數六：目標資料地址映像，是目標AVFrame的data。
- 引數七：目標每個平面的跨步的陣列，就是linesize。
void av_free_packet(AVPacket *pkt);
釋放一個包。
int avcodec_close(AVCodecContext *avctx);
關閉給定的avcodeContext並釋放與之關聯的所有資料（但不是AVCodecContext本身）。
void avformat_close_input(AVFormatContext **s);
關閉開啟的輸入AVFormatContext。釋放它和它的所有內容並將*s設定為空。
void FFmpegManager::testDecodeNewApi()
{
int frameIndex = 0;
// QString fileName = "test/1.avi";
QString fileName = "test/1.mp4";
// ffmpeg相關變數預先定義與分配
AVFormatContext *pAVFormatContext = 0; // ffmpeg的全域性上下文，所有ffmpeg操作都需要
// AVInputFormat *pAVInputFormat = 0; // ffmpeg的輸入格式結構體
AVDictionary *pAVDictionary = 0; // ffmpeg的字典option，各種引數給格式編解碼配置引數的
AVCodecContext *pAVCodecContext = 0; // ffmpeg編碼上下文
AVCodec *pAVCodec = 0; // ffmpeg編碼器
AVPacket *pAVPacket = 0; // ffmpag單幀資料包
AVFrame *pAVFrame = 0; // ffmpeg單幀快取
AVFrame *pAVFrameRGB32 = 0; // ffmpeg單幀快取轉換顏色空間後的快取
struct SwsContext *pSwsContext = 0; // ffmpag編碼資料格式轉換
int ret = 0; // 函式執行結果
int videoIndex = -1; // 音訊流所在的序號
int gotPicture = 0; // 解碼時資料是否解碼成功
int numBytes = 0; // 解碼後的資料長度
uchar *outBuffer = 0; // 解碼後的資料存放快取區
pAVFormatContext = avformat_alloc_context(); // 分配
pAVPacket = av_packet_alloc(); // 分配
pAVFrame = av_frame_alloc(); // 分配
pAVFrameRGB32 = av_frame_alloc(); // 分配
if(!pAVFormatContext || !pAVPacket || !pAVFrame || !pAVFrameRGB32)
{
LOG << "Failed to alloc";
goto END;
}
// 步驟一：註冊所有容器和編解碼器（也可以只註冊一類，如註冊容器、註冊編碼器等）
av_register_all();
// 步驟二：開啟檔案(ffmpeg成功則返回0)
LOG << "檔案:" << fileName << "，是否存在：" << QFile::exists(fileName);
// ret = avformat_open_input(&pAVFormatContext, fileName.toUtf8().data(), pAVInputFormat, 0);
ret = avformat_open_input(&pAVFormatContext, fileName.toUtf8().data(), 0, 0);
if(ret)
{
LOG << "Failed";
goto END;
}
// 步驟三：探測流媒體資訊
// Assertion desc failed at libswscale/swscale_internal.h:668
// 入坑：因為pix_fmt為空，需要對編碼器上下文進一步探測
ret = avformat_find_stream_info(pAVFormatContext, 0);
if(ret < 0)
{
LOG << "Failed to avformat_find_stream_info(pAVCodecContext, 0)";
goto END;
}
// 列印檔案資訊
LOG << "視訊檔案包含流資訊的數量:" << pAVFormatContext->nb_streams;
// 在Qt中av_dump_format不會進行命令列輸出
// av_dump_format(pAVFormatContext, 1, fileName.toUtf8().data(), 0);
// 步驟三：提取流資訊,提取視訊資訊
for(int index = 0; index < pAVFormatContext->nb_streams; index++)
{
pAVCodecContext = pAVFormatContext->streams[index]->codec;
switch (pAVCodecContext->codec_type)
{
case AVMEDIA_TYPE_UNKNOWN:
LOG << "流序號:" << index << "型別為:" << "AVMEDIA_TYPE_UNKNOWN";
break;
case AVMEDIA_TYPE_VIDEO:
LOG << "流序號:" << index << "型別為:" << "AVMEDIA_TYPE_VIDEO";
videoIndex = index;
LOG;
break;
case AVMEDIA_TYPE_AUDIO:
LOG << "流序號:" << index << "型別為:" << "AVMEDIA_TYPE_AUDIO";
break;
case AVMEDIA_TYPE_DATA:
LOG << "流序號:" << index << "型別為:" << "AVMEDIA_TYPE_DATA";
break;
case AVMEDIA_TYPE_SUBTITLE:
LOG << "流序號:" << index << "型別為:" << "AVMEDIA_TYPE_SUBTITLE";
break;
case AVMEDIA_TYPE_ATTACHMENT:
LOG << "流序號:" << index << "型別為:" << "AVMEDIA_TYPE_ATTACHMENT";
break;
case AVMEDIA_TYPE_NB:
LOG << "流序號:" << index << "型別為:" << "AVMEDIA_TYPE_NB";
break;
default:
break;
}
// 已經找打視訊品流
if(videoIndex != -1)
{
break;
}
}
if(videoIndex == -1 || !pAVCodecContext)
{
LOG << "Failed to find video stream";
goto END;
}
// 步驟四：對找到的視訊流尋解碼器
pAVCodec = avcodec_find_decoder(pAVCodecContext->codec_id);
if(!pAVCodec)
{
LOG << "Fialed to avcodec_find_decoder(pAVCodecContext->codec_id):"
<< pAVCodecContext->codec_id;
goto END;
}
// 步驟五：開啟解碼器
ret = avcodec_open2(pAVCodecContext, pAVCodec, NULL);
if(ret)
{
LOG << "Failed to avcodec_open2(pAVCodecContext, pAVCodec, pAVDictionary)";
goto END;
}
LOG << pAVCodecContext->width << "x" << pAVCodecContext->height;
// 步驟六：對拿到的原始資料格式進行縮放轉換為指定的格式高寬大小
// Assertion desc failed at libswscale/swscale_internal.h:668
// 入坑：因為pix_fmt為空，需要對編碼器上下文進一步探測
pSwsContext = sws_getContext(pAVCodecContext->width,
pAVCodecContext->height,
pAVCodecContext->pix_fmt,
pAVCodecContext->width,
pAVCodecContext->height,
AV_PIX_FMT_RGBA,
SWS_FAST_BILINEAR,
0,
0,
0);
numBytes = avpicture_get_size(AV_PIX_FMT_RGBA,
pAVCodecContext->width,
pAVCodecContext->height);
outBuffer = (uchar *)av_malloc(numBytes);
// pAVFrame32的data指標指向了outBuffer
avpicture_fill((AVPicture *)pAVFrameRGB32,
outBuffer,
AV_PIX_FMT_RGBA,
pAVCodecContext->width,
pAVCodecContext->height);
// 此處無需分配
// av_read_frame時他會分配，av_new_packet多此一舉，正好解釋了一次new和多次free的問題
// av_new_packet(pAVPacket, pAVCodecContext->width * pAVCodecContext->height);
// 步驟七：讀取一幀資料的資料包
while(av_read_frame(pAVFormatContext, pAVPacket) >= 0)
{
if(pAVPacket->stream_index == videoIndex)
{
#if 0
// 步驟八：對讀取的資料包進行解碼
ret = avcodec_decode_video2(pAVCodecContext, pAVFrame, &gotPicture, pAVPacket);
if(ret < 0)
{
LOG << "Failed to avcodec_decode_video2(pAVFormatContext, pAVFrame, &gotPicture, pAVPacket)";
break;
}
// 等於0代表拿到了解碼的幀資料
if(!gotPicture)
{
LOG << "no data";
break;
}else{
sws_scale(pSwsContext,
(const uint8_t * const *)pAVFrame->data,
pAVFrame->linesize,
0,
pAVCodecContext->height,
pAVFrameRGB32->data,
pAVFrameRGB32->linesize);
QImage imageTemp((uchar *)outBuffer,
pAVCodecContext->width,
pAVCodecContext->height,
QImage::Format_RGBA8888);
QImage image = imageTemp.copy();
LOG << image.save(QString("%1.jpg").arg(frameIndex++));
}
av_free_packet(pAVPacket);
#else
// 步驟八：傳送資料給編碼器
ret = avcodec_send_packet(pAVCodecContext, pAVPacket);
if(ret)
{
LOG << "Failed to avcodec_send_packet(pAVCodecContext, pAVPacket) ,ret =" << ret;
break;
}
// 步驟九：迴圈衝編碼器獲取解碼後的資料
while(!avcodec_receive_frame(pAVCodecContext, pAVFrame))
{
sws_scale(pSwsContext,
(const uint8_t * const *)pAVFrame->data,
pAVFrame->linesize,
0,
pAVCodecContext->height,
pAVFrameRGB32->data,
pAVFrameRGB32->linesize);
QImage imageTemp((uchar *)outBuffer,
pAVCodecContext->width,
pAVCodecContext->height,
QImage::Format_RGBA8888);
QImage image = imageTemp.copy();
LOG << image.save(QString("%1.jpg").arg(frameIndex++));
}
av_free_packet(pAVPacket);
#endif
}
QThread::msleep(1);
}
END:
LOG << "釋放回收資源";
if(outBuffer)
{
av_free(outBuffer);
outBuffer = 0;
}
if(pSwsContext)
{
sws_freeContext(pSwsContext);
pSwsContext = 0;
LOG << "sws_freeContext(pSwsContext)";
}
if(pAVFrameRGB32)
{
av_frame_free(&pAVFrameRGB32);
pAVFrame = 0;
LOG << "av_frame_free(pAVFrameRGB888)";
}
if(pAVFrame)
{
av_frame_free(&pAVFrame);
pAVFrame = 0;
LOG << "av_frame_free(pAVFrame)";
}
if(pAVPacket)
{
av_free_packet(pAVPacket);
pAVPacket = 0;
LOG << "av_free_packet(pAVPacket)";
}
if(pAVCodecContext)
{
avcodec_close(pAVCodecContext);
pAVCodecContext = 0;
LOG << "avcodec_close(pAVCodecContext);";
}
if(pAVFormatContext)
{
avformat_close_input(&pAVFormatContext);
avformat_free_context(pAVFormatContext);
pAVFormatContext = 0;
LOG << "avformat_free_context(pAVFormatContext)";
}
}
對應工程模板v1.1.1：新增ffmpeg3的api解碼demo。
上一篇：《FFmpeg開發筆記（四）：ffmpeg解碼的基本流程詳解》
下一篇：敬請期待