ffmpeg在iOS的使用-iFrameExtractor原始碼解析

發表於2015-09-15

iOS原始碼

iFrameExtractor地址:https://github.com/lajos/iFrameExtractor

ffmpeg的簡介

FFmpeg是一套可以用來記錄、轉換數字音訊、視訊，並能將其轉化為流的開源計算機程式。

“FFmpeg”這個單詞中的”FF”指的是”Fast Forward”。

ffmpeg支援的格式

ASF

AVI

BFI

FLV

GXF, General eXchange Format, SMPTE 360M

IFF

RL2

ISO base media file format（包括QuickTime, 3GP和MP4）

Matroska（包括WebM）

Maxis XA

MPEG program stream

MPEG transport stream（including AVCHD）

MXF, Material eXchange Format, SMPTE 377M

MSN Webcam stream

Ogg

OMA

TXD

WTV

ffmpeg支援的協議

IETF標準：TCP, UDP, Gopher, HTTP, RTP, RTSP和SDP

蘋果公司的相關標準：HTTP Live Streaming

RealMedia的相關標準：RealMedia RTSP/RDT

Adobe的相關標準：RTMP, RTMPT（由librtmp實現），RTMPE（由librtmp實現），RTMPTE（由librtmp）和RTMPS（由librtmp實現）

微軟的相關標準：MMS在TCP上和MMS在HTTP上

iFrameExtractor的使用

初始化

self.video = [[VideoFrameExtractor alloc] initWithVideo:[Utilities bundlePath:@"sophie.mov"]];

    video.outputWidth = 426;
    video.outputHeight = 320;

self.video = [[VideoFrameExtractor alloc] initWithVideo:[Utilities bundlePath:@"sophie.mov"]];

video.outputWidth = 426;

video.outputHeight = 320;

播放

 [video seekTime:0.0];
    [NSTimer scheduledTimerWithTimeInterval:1.0/30
                                     target:self
                                   selector:@selector(displayNextFrame:)
                                   userInfo:nil
                                    repeats:YES];

[video seekTime:0.0];

[NSTimer scheduledTimerWithTimeInterval:1.0/30

target:self

selector:@selector(displayNextFrame:)

userInfo:nil

repeats:YES];

-(void)displayNextFrame:(NSTimer *)timer {
    if (![video stepFrame]) {

        return;
    }
    imageView.image = video.currentImage;

}

-(void)displayNextFrame:(NSTimer *)timer {

if (![video stepFrame]) {

return;

}

imageView.image = video.currentImage;

}

VideoFrameExtractor類解析

initWithVideo:(NSString *)moviePath方法

VideoFrameExtractor的初始化，主要是配置三個全域性的結構體變數。

AVFormatContext型別的pFormatCtx，AVFormatContext主要儲存視音訊封裝格式中包含的資訊；AVInputFormat儲存輸入視音訊使用的封裝格式。每種視音訊封裝格式都對應一個AVInputFormat 結構。

AVCodecContext型別的pCodecCtx ，每個AVStream儲存一個視訊/音訊流的相關資料；每個AVStream對應一個AVCodecContext，儲存該視訊/音訊流使用解碼方式的相關資料；每個AVCodecContext中對應一個AVCodec，包含該視訊/音訊對應的解碼器。每種解碼器都對應一個AVCodec結構。

AVFrame型別的pFrame，視訊的話，每個結構一般是存一幀，音訊可能有好幾幀。解碼前資料是AVPacket，解碼後資料是AVFrame。

FMPEG中結構體很多。最關鍵的結構體他們之間的對應關係如下所示：

圖片來自:FFMPEG中最關鍵的結構體之間的關係

下面就是初始化的程式碼

-(id)initWithVideo:(NSString *)moviePath {
    if (!(self=[super init])) return nil;

    AVCodec         *pCodec;

    // Register all formats and codecs
    avcodec_register_all();
    av_register_all();

    // Open video file
    if(avformat_open_input(&amp;pFormatCtx, [moviePath cStringUsingEncoding:NSASCIIStringEncoding], NULL, NULL) != 0) {
        av_log(NULL, AV_LOG_ERROR, "Couldn't open file\n");
        goto initError;
    }

    // Retrieve stream information
    if(avformat_find_stream_info(pFormatCtx,NULL) &lt; 0) {
        av_log(NULL, AV_LOG_ERROR, "Couldn't find stream information\n");
        goto initError;
    }

    // Find the first video stream
    if ((videoStream =  av_find_best_stream(pFormatCtx, AVMEDIA_TYPE_VIDEO, -1, -1, &amp;pCodec, 0)) &lt; 0) {
        av_log(NULL, AV_LOG_ERROR, "Cannot find a video stream in the input file\n");
        goto initError;
    }

    // Get a pointer to the codec context for the video stream
    pCodecCtx = pFormatCtx-&gt;streams[videoStream]-&gt;codec;

    // Find the decoder for the video stream
    pCodec = avcodec_find_decoder(pCodecCtx-&gt;codec_id);
    if(pCodec == NULL) {
        av_log(NULL, AV_LOG_ERROR, "Unsupported codec!\n");
        goto initError;
    }

    // Open codec
    if(avcodec_open2(pCodecCtx, pCodec, NULL) &lt; 0) {
        av_log(NULL, AV_LOG_ERROR, "Cannot open video decoder\n");
        goto initError;
    }

    // Allocate video frame
    pFrame = avcodec_alloc_frame();

    outputWidth = pCodecCtx-&gt;width;
    self.outputHeight = pCodecCtx-&gt;height;

    return self;

initError:
    [self release];
    return nil;
}

-(id)initWithVideo:(NSString *)moviePath {

if (!(self=[super init])) return nil;

AVCodec *pCodec;

// Register all formats and codecs

avcodec_register_all();

av_register_all();

// Open video file

if(avformat_open_input(&pFormatCtx, [moviePath cStringUsingEncoding:NSASCIIStringEncoding], NULL, NULL) != 0) {

av_log(NULL, AV_LOG_ERROR, "Couldn't open file\n");

goto initError;

}

// Retrieve stream information

if(avformat_find_stream_info(pFormatCtx,NULL) < 0) {

av_log(NULL, AV_LOG_ERROR, "Couldn't find stream information\n");

goto initError;

}

// Find the first video stream

if ((videoStream = av_find_best_stream(pFormatCtx, AVMEDIA_TYPE_VIDEO, -1, -1, &pCodec, 0)) < 0) {

av_log(NULL, AV_LOG_ERROR, "Cannot find a video stream in the input file\n");

goto initError;

}

// Get a pointer to the codec context for the video stream

pCodecCtx = pFormatCtx->streams[videoStream]->codec;

// Find the decoder for the video stream

pCodec = avcodec_find_decoder(pCodecCtx->codec_id);

if(pCodec == NULL) {

av_log(NULL, AV_LOG_ERROR, "Unsupported codec!\n");

goto initError;

}

// Open codec

if(avcodec_open2(pCodecCtx, pCodec, NULL) < 0) {

av_log(NULL, AV_LOG_ERROR, "Cannot open video decoder\n");

goto initError;

}

// Allocate video frame

pFrame = avcodec_alloc_frame();

outputWidth = pCodecCtx->width;

self.outputHeight = pCodecCtx->height;

return self;

initError:

[self release];

return nil;

}

sourceWidth和sourceHeight方法

獲取螢幕的寬和高

-(int)sourceWidth {
    return pCodecCtx->width;
}

-(int)sourceHeight {
    return pCodecCtx->height;
}

-(int)sourceWidth {

return pCodecCtx->width;

}

-(int)sourceHeight {

return pCodecCtx->height;

}

setupScaler方法

設定視訊播放檢視的尺寸

-(void)setupScaler {

    // Release old picture and scaler
    avpicture_free(&picture);
    sws_freeContext(img_convert_ctx);   

    // Allocate RGB picture
    avpicture_alloc(&picture, PIX_FMT_RGB24, outputWidth, outputHeight);

    // Setup scaler
    static int sws_flags =  SWS_FAST_BILINEAR;
    img_convert_ctx = sws_getContext(pCodecCtx->width, 
                                     pCodecCtx->height,
                                     pCodecCtx->pix_fmt,
                                     outputWidth, 
                                     outputHeight,
                                     PIX_FMT_RGB24,
                                     sws_flags, NULL, NULL, NULL);

}

-(void)setupScaler {

// Release old picture and scaler

avpicture_free(&picture);

sws_freeContext(img_convert_ctx);

// Allocate RGB picture

avpicture_alloc(&picture, PIX_FMT_RGB24, outputWidth, outputHeight);

// Setup scaler

static int sws_flags = SWS_FAST_BILINEAR;

img_convert_ctx = sws_getContext(pCodecCtx->width,

pCodecCtx->height,

pCodecCtx->pix_fmt,

outputWidth,

outputHeight,

PIX_FMT_RGB24,

sws_flags, NULL, NULL, NULL);

}

duration方法

獲取音視訊檔案的總時間

-(double)duration {
    return (double)pFormatCtx->duration / AV_TIME_BASE;
}

-(double)duration {

return (double)pFormatCtx->duration / AV_TIME_BASE;

}

currentTime方法

顯示音視訊當前播放的時間

-(double)currentTime {
    AVRational timeBase = pFormatCtx->streams[videoStream]->time_base;
    return packet.pts * (double)timeBase.num / timeBase.den;
}

-(double)currentTime {

AVRational timeBase = pFormatCtx->streams[videoStream]->time_base;

return packet.pts * (double)timeBase.num / timeBase.den;

}

seekTime:(double)seconds方法

直接跳到音視訊的第seconds秒進行播放，預設從第0.0秒開始

-(void)seekTime:(double)seconds {
    AVRational timeBase = pFormatCtx->streams[videoStream]->time_base;
    int64_t targetFrame = (int64_t)((double)timeBase.den / timeBase.num * seconds);
    avformat_seek_file(pFormatCtx, videoStream, targetFrame, targetFrame, targetFrame, AVSEEK_FLAG_FRAME);
    avcodec_flush_buffers(pCodecCtx);
}

-(void)seekTime:(double)seconds {

AVRational timeBase = pFormatCtx->streams[videoStream]->time_base;

int64_t targetFrame = (int64_t)((double)timeBase.den / timeBase.num * seconds);

avformat_seek_file(pFormatCtx, videoStream, targetFrame, targetFrame, targetFrame, AVSEEK_FLAG_FRAME);

avcodec_flush_buffers(pCodecCtx);

}

stepFrame方法

解碼視訊得到幀

-(BOOL)stepFrame {
    // AVPacket packet;
    int frameFinished=0;

    while(!frameFinished && av_read_frame(pFormatCtx, &packet)>=0) {
        // Is this a packet from the video stream?
        if(packet.stream_index==videoStream) {
            // Decode video frame
            avcodec_decode_video2(pCodecCtx, pFrame, &frameFinished, &packet);
        }

    }
    return frameFinished!=0;
}

-(BOOL)stepFrame {

// AVPacket packet;

int frameFinished=0;

while(!frameFinished && av_read_frame(pFormatCtx, &packet)>=0) {

// Is this a packet from the video stream?

if(packet.stream_index==videoStream) {

// Decode video frame

avcodec_decode_video2(pCodecCtx, pFrame, &frameFinished, &packet);

}

return frameFinished!=0;

}

currentImage方法

獲取當前的UIImage物件，以呈現當前播放的畫面

-(UIImage *)currentImage {
    if (!pFrame->data[0]) return nil;
    [self convertFrameToRGB];
    return [self imageFromAVPicture:picture width:outputWidth height:outputHeight];
}

-(UIImage *)currentImage {

if (!pFrame->data[0]) return nil;

[self convertFrameToRGB];

return [self imageFromAVPicture:picture width:outputWidth height:outputHeight];

}

convertFrameToRGB

轉換音視訊幀到RGB

-(void)convertFrameToRGB {  
    sws_scale (img_convert_ctx, pFrame->data, pFrame->linesize,
               0, pCodecCtx->height,
               picture.data, picture.linesize); 
}

-(void)convertFrameToRGB {

sws_scale (img_convert_ctx, pFrame->data, pFrame->linesize,

0, pCodecCtx->height,

picture.data, picture.linesize);

}

(UIImage *)imageFromAVPicture:(AVPicture)pict width:(int)width height:(int)height方法

把AVPicture轉換成UIImage把音視訊畫面顯示出來

-(UIImage *)imageFromAVPicture:(AVPicture)pict width:(int)width height:(int)height {
    CGBitmapInfo bitmapInfo = kCGBitmapByteOrderDefault;
    CFDataRef data = CFDataCreateWithBytesNoCopy(kCFAllocatorDefault, pict.data[0], pict.linesize[0]*height,kCFAllocatorNull);
    CGDataProviderRef provider = CGDataProviderCreateWithCFData(data);
    CGColorSpaceRef colorSpace = CGColorSpaceCreateDeviceRGB();
    CGImageRef cgImage = CGImageCreate(width, 
                                       height, 
                                       8, 
                                       24, 
                                       pict.linesize[0], 
                                       colorSpace, 
                                       bitmapInfo, 
                                       provider, 
                                       NULL, 
                                       NO, 
                                       kCGRenderingIntentDefault);
    CGColorSpaceRelease(colorSpace);
    UIImage *image = [UIImage imageWithCGImage:cgImage];
    CGImageRelease(cgImage);
    CGDataProviderRelease(provider);
    CFRelease(data);

    return image;
}

-(UIImage *)imageFromAVPicture:(AVPicture)pict width:(int)width height:(int)height {

CGBitmapInfo bitmapInfo = kCGBitmapByteOrderDefault;

CFDataRef data = CFDataCreateWithBytesNoCopy(kCFAllocatorDefault, pict.data[0], pict.linesize[0]*height,kCFAllocatorNull);

CGDataProviderRef provider = CGDataProviderCreateWithCFData(data);

CGColorSpaceRef colorSpace = CGColorSpaceCreateDeviceRGB();

CGImageRef cgImage = CGImageCreate(width,

height,

24,

pict.linesize[0],

colorSpace,

bitmapInfo,

provider,

NULL,

NO,

kCGRenderingIntentDefault);

CGColorSpaceRelease(colorSpace);

UIImage *image = [UIImage imageWithCGImage:cgImage];

CGImageRelease(cgImage);

CGDataProviderRelease(provider);

CFRelease(data);

return image;

}

Reference

ElevenPlayer: 這是我用ffmpeg寫的iOS萬能播放器。

iOS配置FFmpeg框架

FFmpeg-wikipedia

Vitamio測試網路視訊地址

FFMPEG結構體分析-系列文章:包括AVFrame、AVFormatContext、AVCodecContext、AVIOContext、AVCodec、AVStream、AVPacket

FFmpeg開發和使用有關的文章的彙總

ffmpeg 官網

FFmpeg GitHub source code

Axios原始碼解析
2021-09-22
iOS原始碼
逐行解析Axios原始碼
2019-08-11
iOS原始碼
routable-ios原始碼解析
2018-11-23
iOS原始碼
[iOS]JPVideoPlayer 3.0 原始碼解析
2018-04-15
iOSIDE原始碼
ReactNative iOS原始碼解析（一）
2016-07-02
ReactiOS原始碼
redis原始碼解析----epoll的使用
2018-06-03
Redis原始碼
Picasso的使用和原始碼解析
2016-06-03
原始碼
EventBus的使用和原始碼解析
2016-06-01
原始碼
iOS原始碼解析—AFNetworking(RequestSerializer)
2017-03-14
iOS原始碼
iOS開發之原始碼解析 - Masonry
2017-12-25
iOS原始碼
iOS開發之原始碼解析 - MBProgressHUD
2017-12-25
iOS原始碼
FFmpeg學習之一（FFmpeg原始碼編譯）
2020-04-06
原始碼編譯
在 Windows 上使用 FFmpeg
2024-07-30
Windows
TextWatcher的使用及原始碼解析
2019-03-26
原始碼
GYHttpMock:使用及原始碼解析
2019-03-03
HTTPMock原始碼
Lru在Rust中的實現, 原始碼解析
2024-06-07
Rust原始碼
編譯FFMPEG原始碼的指令碼編寫案例
2017-10-12
編譯原始碼指令碼
Binder的使用方法和原始碼解析
2017-04-01
原始碼
iOS彈幕(原始碼)實現原理解析
2016-03-15
iOS原始碼
RxBinding使用和原始碼解析
2017-12-23
原始碼
短視訊帶貨原始碼，ffmpeg hls動態切換解析度
2022-04-07
原始碼
net/http包的使用模式和原始碼解析
2017-10-20
HTTP模式原始碼
Android中IntentService的使用及其原始碼解析
2015-08-28
AndroidIntent原始碼
在macOS下使用ffmpeg錄屏
2018-01-14
Mac
iOS即時通訊進階 – CoacoaAsyncSocket原始碼解析
2017-01-22
iOS原始碼
redux的原始碼解析
2018-05-17
Redux原始碼
DialogFragment使用到原始碼完全解析
2018-12-29
Fragment原始碼
[原始碼解析] PyTorch 如何使用GPU
2021-11-07
原始碼PyTorchGPU
iOS開發 iOS整合FFmpeg及視訊格式轉碼
2018-08-22
iOS
iOS整合FFmpeg及視訊格式轉碼
2019-03-05
iOS
Webpack原始碼基礎-Tapable從使用Hook到原始碼解析
2019-04-10
Web原始碼Hook
ffmpeg——TS流解析
2018-05-07
spark的基本運算元使用和原始碼解析
2019-07-23
Spark原始碼
Android中HandlerThread的使用及原始碼解析
2015-08-06
Androidthread原始碼
ios加固，ios程式碼混淆，ios程式碼混淆工具， iOS原始碼混淆使用說明詳解
2020-06-11
iOS原始碼
【原始碼解析】- ArrayList原始碼解析，絕對詳細
2021-04-15
原始碼
FFmpeg開發筆記（六）如何訪問Github下載FFmpeg原始碼
2024-03-17
筆記Github原始碼
Lru-k在Rust中的實現及原始碼解析
2024-06-21
Rust原始碼

ffmpeg在iOS的使用-iFrameExtractor原始碼解析

ffmpeg的簡介

ffmpeg支援的格式

ffmpeg支援的協議

iFrameExtractor的使用

VideoFrameExtractor類解析

initWithVideo:(NSString *)moviePath方法

sourceWidth和sourceHeight方法

setupScaler方法

currentTime方法

seekTime:(double)seconds方法

stepFrame方法

currentImage方法

convertFrameToRGB

(UIImage *)imageFromAVPicture:(AVPicture)pict width:(int)width height:(int)height方法

Reference

相關文章