Android NDK開發之旅30 FFmpeg視訊播放

###1.播放多媒體檔案步驟 通常情況下，我們下載的視訊檔案如MP4，MKV、FLV等都屬於封裝格式，就是把音視訊資料按照相應的規範，打包成一個文字檔案。我們可以使用MediaInfo這個工具檢視媒體檔案的相關資訊。 當我們播放一個媒體檔案時，通常需要經過以下幾個步驟如下：

• 解封裝(Demuxing)：就是將輸入的封裝格式的資料，分離成為音訊流壓縮編碼資料和視訊流壓縮編碼資料。封裝格式種類很多，例如MP4，MKV，RMVB，TS，FLV，AVI等等，它的作用就是將已經壓縮編碼的視訊資料和音訊資料按照一定的格式放到一起。例如，FLV格式的資料，經過解封裝操作後，輸出H.264編碼的視訊碼流和AAC編碼的音訊碼流。

• 解碼(Decode)：就是將視訊/音訊壓縮編碼資料，解碼成為非壓縮的視訊/音訊原始資料。音訊的壓縮編碼標準包含AAC，MP3等，視訊的壓縮編碼標準則包含H.264，MPEG2等。解碼是整個系統中最重要也是最複雜的一個環節。通過解碼，壓縮編碼的視訊資料輸出成為非壓縮的顏色資料，例如YUV、RGB等等；壓縮編碼的音訊資料輸出成為非壓縮的音訊抽樣資料，例如PCM資料。

• 音視訊同步：就是根據解封裝模組處理過程中獲取到的引數資訊，同步解碼出來的音訊和視訊資料，並將音視訊頻資料送至系統的顯示卡和音效卡播放出來(Render)。

###2.FFmpeg介紹 Android需要音/視訊編解碼需要用到FFmpeg的so庫，請檢視 #####Android NDK開發之旅29--雲伺服器Ubuntu下搭建NDK環境，並編譯FFmpeg FFmpeg是一套可以用來記錄、轉換數字音訊、視訊，並能將其轉化為流的開源計算機程式。它包括了領先的音/視訊編解碼庫libavcodec、libavformat、libswscale等。

首先介紹一下ffmpeg裡面各模組的功能把：

庫名	工具
libavformat	用於各種音視訊封裝格式的生成和解析，包括獲取解碼所需資訊以生成解碼上下文結構和讀取音視訊幀等功能；音視訊的格式解析協議，為libavcodec分析碼流提供獨立的音訊或視訊碼流源。
libavcodec	用於各種型別聲音/影象編解碼；該庫是音視訊編解碼核心，實現了市面上可見的絕大部分解碼器的功能，libavcodec庫被其他各大解碼器ffdshow,MPlayer等所包含或應用。
libavdevice	硬體採集、加速、顯示。操作計算機中常用的音視訊捕獲或輸出裝置；
libavfilter	filter音視訊濾波器的開發，如寬高比、剪裁、格式化、非格式化、伸縮。
libavutil	包含一些公共的工具函式的使用庫，包括算數運算、字元操作。
libavresample	音視訊封裝編解碼格式預設等。
libswscale	（原始視訊格式轉換）用於視訊場景比例縮放、色彩對映轉換；影象顏色空間或格式轉換。
libswresample	原始音訊格式轉碼
libpostproc	（同步、時間計算的簡單演算法）用於後期效果處理；音視訊應用的後期處理，如影象的去塊效應。

###3.FFmpeg音視訊解碼過程 通過上面對媒體檔案播放步驟的瞭解，我們在解碼多媒體檔案的時候需要經過兩個步驟，即解封裝(Demuxing)和解碼(Decode)。下面就來看一下FFMPEG解碼媒體檔案的時候是怎樣做這兩個步驟的。

####3.1.註冊所有元件

av_register_all();
複製程式碼

這個函式，可以註冊所有支援的容器和對應的codec。 ####3.2.開啟輸入視訊檔案

AVFormatContext *pFormatCtx = avformat_alloc_context();
avformat_open_input(&pFormatCtx,input_cstr,NULL,NULL);

複製程式碼

####3.3.獲取視訊檔案資訊

    avformat_find_stream_info(pFormatCtx,NULL);
複製程式碼

    //獲取視訊流的索引位置
    //遍歷所有型別的流（音訊流、視訊流、字幕流），找到視訊流
    int v_stream_idx = -1;
    int i = 0;
    //number of streams
    for (; i < pFormatCtx->nb_streams; i++)
    {
        //流的型別
        if (pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO)
        {
            v_stream_idx = i;
            break;
        }
    }
複製程式碼

####3.4.根據編解碼上下文中的編碼id查詢對應的解碼器

    AVCodecContext *pCodecCtx = pFormatCtx->streams[v_stream_idx]->codec;
    AVCodec *pCodec = avcodec_find_decoder(pCodecCtx->codec_id);
複製程式碼

####3.5.開啟解碼器

avcodec_open2(pCodecCtx,pCodec,NULL)
複製程式碼

來開啟解碼器，AVFormatContext、AVStream、AVCodecContext、AVCodec四者之間的關係為

####3.6.一幀一幀讀取壓縮的視訊資料AVPacket

while (av_read_frame(pFormatCtx, packet) >= 0) {
省略...
}
複製程式碼

####3.7.解碼一幀視訊壓縮資料，得到視訊畫素資料

avcodec_decode_video2(pCodecCtx, pFrame, &got_picture, packet)
複製程式碼

###4.Android整體專案下視訊播放流程 ####4.1輸入視訊路徑 ####4.2.把視訊資料解碼為YUV畫素資料 ####4.3.YUV資料轉化為RGB格式。 (這一步可以省略) ####4.4.一幀一幀的傳給SurfaceView顯示出來

####注意：

其實YUV資料可直接在SurfaceView顯示，在研究Android系統多媒體框架的stagefright視訊顯示時發現，根本找不到omx解碼後的yuv是怎麼轉換成RGB的程式碼，yuv資料在render之後就找不到去向了，可畫面確確實實的顯示出來了。

稍微看一下AsomePlayer的程式碼，不難發現，視訊的每一幀是通過呼叫了SoftwareRenderer來渲染顯示的、這是一個很大的突破，以後可以直接丟yuv資料到surface顯示，無需耗時耗效率的yuv轉RGB了，這部分知識點會在以後的文章中實現本篇不涉及。 ###5.關鍵程式碼 #####VideoUtils.class

package com.haocai.ffmpegtest;

import android.view.Surface;

public class VideoUtils {

	public native void render(String input,Surface surface);

	static{
		System.loadLibrary("avutil-54");
		System.loadLibrary("swresample-1");
		System.loadLibrary("avcodec-56");
		System.loadLibrary("avformat-56");
		System.loadLibrary("swscale-3");
		System.loadLibrary("postproc-53");
		System.loadLibrary("avfilter-5");
		System.loadLibrary("avdevice-56");
		System.loadLibrary("myffmpeg");
	}
}

複製程式碼

#####activity_simple_play.xml

<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"
    android:layout_width="match_parent"
    android:layout_height="match_parent">

    <SurfaceView
        android:id="@+id/video_view"
        android:layout_width="fill_parent"
        android:layout_height="fill_parent"/>

</LinearLayout>
複製程式碼

#####SimplePlayActivity.class

public class SimplePlayActivity extends Activity  implements SurfaceHolder.Callback {


    @BindView(R.id.video_view)
    SurfaceView videoView;
    private VideoUtils player;
    SurfaceHolder surfaceHolder;
    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_simple_play);
        ButterKnife.bind(this);
        player = new VideoUtils();
        surfaceHolder = videoView.getHolder();
        //surface
        surfaceHolder.addCallback(this);
    }

    @Override
    public void surfaceCreated(final SurfaceHolder holder) {
        new Thread(new Runnable() {
            @Override
            public void run() {
                String input = new File(Environment.getExternalStorageDirectory(),"小蘋果.mp4").getAbsolutePath();
                Log.d("main",input);
                player.render(input, holder.getSurface());
            }
        }).start();
    }

    @Override
    public void surfaceChanged(SurfaceHolder holder, int format, int width, int height) {

    }

    @Override
    public void surfaceDestroyed(SurfaceHolder holder) {
        holder.getSurface().release();
    }
}
複製程式碼

#####ffmpeg_player.c

#include <com_haocai_ffmpegtest_VideoUtils.h>
#include <android/log.h>
#include <android/native_window_jni.h>
#include <android/native_window.h>
#include <stdio.h>
//解碼
#include "include/libavcodec/avcodec.h"
//封裝格式處理
#include "include/libavformat/avformat.h"
//畫素處理
#include "include/libswscale/swscale.h"

#define  LOG_TAG    "ffmpegandroidplayer"
#define  LOGI(FORMAT,...) __android_log_print(ANDROID_LOG_INFO,LOG_TAG,FORMAT,##__VA_ARGS__);
#define  LOGE(FORMAT,...) __android_log_print(ANDROID_LOG_ERROR,LOG_TAG,FORMAT,##__VA_ARGS__);
#define  LOGD(FORMAT,...)  __android_log_print(ANDROID_LOG_DEBUG, LOG_TAG,FORMAT, ##__VA_ARGS__)

JNIEXPORT void JNICALL Java_com_haocai_ffmpegtest_VideoUtils_render
  (JNIEnv *env, jobject jobj, jstring input_jstr, jobject surface){
	const char* file_name = (*env)->GetStringUTFChars(env, input_jstr, NULL);


    LOGD("play");


    av_register_all();

    AVFormatContext *pFormatCtx = avformat_alloc_context();

    // Open video file
    if (avformat_open_input(&pFormatCtx, file_name, NULL, NULL) != 0) {

        LOGD("Couldn't open file:%s\n", file_name);
        return ; // Couldn't open file
    }

    // Retrieve stream information
    if (avformat_find_stream_info(pFormatCtx, NULL) < 0) {
        LOGD("Couldn't find stream information.");
        return ;
    }

    // Find the first video stream
    int videoStream = -1, i;
    for (i = 0; i < pFormatCtx->nb_streams; i++) {
        if (pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO
            && videoStream < 0) {
            videoStream = i;
        }
    }
    if (videoStream == -1) {
        LOGD("Didn't find a video stream.");
        return ; // Didn't find a video stream
    }

    // Get a pointer to the codec context for the video stream
    AVCodecContext *pCodecCtx = pFormatCtx->streams[videoStream]->codec;

    // Find the decoder for the video stream
    AVCodec *pCodec = avcodec_find_decoder(pCodecCtx->codec_id);
    if (pCodec == NULL) {
        LOGD("Codec not found.");
        return ; // Codec not found
    }

    if (avcodec_open2(pCodecCtx, pCodec, NULL) < 0) {
        LOGD("Could not open codec.");
        return ; // Could not open codec
    }

    // 獲取native window
    ANativeWindow *nativeWindow = ANativeWindow_fromSurface(env, surface);

    // 獲取視訊寬高
    int videoWidth = pCodecCtx->width;
    int videoHeight = pCodecCtx->height;

    // 設定native window的buffer大小,可自動拉伸
    ANativeWindow_setBuffersGeometry(nativeWindow, videoWidth, videoHeight,
                                     WINDOW_FORMAT_RGBA_8888);
    ANativeWindow_Buffer windowBuffer;

    if (avcodec_open2(pCodecCtx, pCodec, NULL) < 0) {
        LOGD("Could not open codec.");
        return ; // Could not open codec
    }

    // Allocate video frame
    AVFrame *pFrame = av_frame_alloc();

    // 用於渲染
    AVFrame *pFrameRGBA = av_frame_alloc();
    if (pFrameRGBA == NULL || pFrame == NULL) {
        LOGD("Could not allocate video frame.");
        return ;
    }

    // Determine required buffer size and allocate buffer
    // buffer中資料就是用於渲染的,且格式為RGBA
    int numBytes = av_image_get_buffer_size(AV_PIX_FMT_RGBA, pCodecCtx->width, pCodecCtx->height,
                                            1);
    uint8_t *buffer = (uint8_t *) av_malloc(numBytes * sizeof(uint8_t));
    av_image_fill_arrays(pFrameRGBA->data, pFrameRGBA->linesize, buffer, AV_PIX_FMT_RGBA,
                         pCodecCtx->width, pCodecCtx->height, 1);

    // 由於解碼出來的幀格式不是RGBA的,在渲染之前需要進行格式轉換
    struct SwsContext *sws_ctx = sws_getContext(pCodecCtx->width,
                                                pCodecCtx->height,
                                                pCodecCtx->pix_fmt,
                                                pCodecCtx->width,
                                                pCodecCtx->height,
                                                AV_PIX_FMT_RGBA,
                                                SWS_BILINEAR,
                                                NULL,
                                                NULL,
                                                NULL);

    int frameFinished;
    AVPacket packet;
    while (av_read_frame(pFormatCtx, &packet) >= 0) {
        // Is this a packet from the video stream?
        if (packet.stream_index == videoStream) {

            // Decode video frame
            avcodec_decode_video2(pCodecCtx, pFrame, &frameFinished, &packet);

            // 並不是decode一次就可解碼出一幀
            if (frameFinished) {

                // lock native window buffer
                ANativeWindow_lock(nativeWindow, &windowBuffer, 0);

                // 格式轉換
                sws_scale(sws_ctx, (uint8_t const *const *) pFrame->data,
                          pFrame->linesize, 0, pCodecCtx->height,
                          pFrameRGBA->data, pFrameRGBA->linesize);

                // 獲取stride
                uint8_t *dst = (uint8_t *) windowBuffer.bits;
                int dstStride = windowBuffer.stride * 4;
                uint8_t *src = (pFrameRGBA->data[0]);
                int srcStride = pFrameRGBA->linesize[0];

                // 由於window的stride和幀的stride不同,因此需要逐行復制
                int h;
                for (h = 0; h < videoHeight; h++) {
                    memcpy(dst + h * dstStride, src + h * srcStride, srcStride);
                }

                ANativeWindow_unlockAndPost(nativeWindow);
                //延時繪製 否則視訊快速播放
                usleep(1000 * 16);
            }

        }
        av_packet_unref(&packet);
    }

    av_free(buffer);
    av_free(pFrameRGBA);

    // Free the YUV frame
    av_free(pFrame);

    // Close the codecs
    avcodec_close(pCodecCtx);

    // Close the video file
    avformat_close_input(&pFormatCtx);
    (*env)->ReleaseStringUTFChars(env, input_jstr, file_name);
    return ;
}
複製程式碼

######說明：其它視訊格式也支援

###6.播放效果

###原始碼下載 #####Github：github.com/kpioneer123…

###特別感謝： CrazyDiode 小碼哥_WS