使用MediaCodec硬解碼h.265視訊及音訊進行播放

weixin_34377065發表於2018-01-09

h.265這個視訊是很多播放器不支援的，就算是bilibili開源的ijkplayer也不能直接播放，需要自己去重新編譯才可以支援。這裡通過這個demo來演示一下如何硬解碼視訊，播放h.265視訊，其實編碼的視訊同樣道理。

視訊的播放主要在surfaceView中顯示，而解碼過程則在音訊解碼執行緒和視訊解碼執行緒兩個執行緒中分別執行。

視訊解碼

主要是用到了一個MediaCodec這個類來進行解碼。

設定資料來源

MediaExtractor mediaExtractor = new MediaExtractor();
try {
    mediaExtractor.setDataSource(path); // 設定資料來源
} catch (IOException e1) {
    e1.printStackTrace();
}
複製程式碼

根據視訊的編碼資訊來初始化MediaCodec:

視訊的mineType是video型別。

String mimeType = null;
for (int i = 0; i < mediaExtractor.getTrackCount(); i++) { // 通道總數
    MediaFormat format = mediaExtractor.getTrackFormat(i); // 音訊檔案資訊
    mimeType = format.getString(MediaFormat.KEY_MIME);
    if (mimeType.startsWith("video/")) { // 視訊通道
        mediaExtractor.selectTrack(i); // 切換到視訊通道
        try {
            mediaCodec = MediaCodec.createDecoderByType(mimeType); // 建立解碼器,提供資料輸出
        } catch (IOException e) {
            e.printStackTrace();
        }
        mediaCodec.configure(format, surface, null, 0);
        break;
    }
}
mediaCodec.start(); // 啟動MediaCodec ，等待傳入資料
複製程式碼

獲取快取器

// 輸入
ByteBuffer[] inputBuffers = mediaCodec.getInputBuffers(); // 用來存放目標檔案的資料
// 輸出
ByteBuffer[] outputBuffers = mediaCodec.getOutputBuffers(); // 解碼後的資料
MediaCodec.BufferInfo info = new MediaCodec.BufferInfo(); // 用於描述解碼得到的byte[]資料的相關資訊
複製程式碼

開始解碼

while (!Thread.interrupted()) {

    if (!bIsEos) {
        int inIndex = mediaCodec.dequeueInputBuffer(0);
        if (inIndex >= 0) {
            ByteBuffer buffer = inputBuffers[inIndex];
            int nSampleSize = mediaExtractor.readSampleData(buffer, 0); // 讀取一幀資料至buffer中
            if (nSampleSize < 0) {
                Log.d(TAG, "InputBuffer BUFFER_FLAG_END_OF_STREAM");
                mediaCodec.queueInputBuffer(inIndex, 0, 0, 0, MediaCodec.BUFFER_FLAG_END_OF_STREAM);
                bIsEos = true;
            } else {
                // 填資料
                mediaCodec.queueInputBuffer(inIndex, 0, nSampleSize, mediaExtractor.getSampleTime(), 0); // 通知MediaDecode解碼剛剛傳入的資料
                mediaExtractor.advance(); // 繼續下一取樣
            }
        }
    }

    int outIndex = mediaCodec.dequeueOutputBuffer(info, 0);
    switch (outIndex) {
        case MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED:
            Log.d(TAG, "INFO_OUTPUT_BUFFERS_CHANGED");
            outputBuffers = mediaCodec.getOutputBuffers();
            break;
        case MediaCodec.INFO_OUTPUT_FORMAT_CHANGED:
            Log.d(TAG, "New format " + mediaCodec.getOutputFormat());
            break;
        case MediaCodec.INFO_TRY_AGAIN_LATER:
            Log.d(TAG, "dequeueOutputBuffer timed out!");
            break;
        default:
            ByteBuffer buffer = outputBuffers[outIndex];
            Log.v(TAG, "We can't use this buffer but render it due to the API limit, " + buffer);

            mediaCodec.releaseOutputBuffer(outIndex, true);
            break;
    }

    if ((info.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0) {
        Log.d("DecodeActivity", "OutputBuffer BUFFER_FLAG_END_OF_STREAM");
        break;
    }
}
複製程式碼

解碼完成後釋放資源

mediaCodec.stop();
mediaCodec.release();
mediaExtractor.release();
複製程式碼

這樣視訊的解碼就已經完成了，此時surfaceView已經可以播放視訊了，接下來是音訊解碼。

音訊解碼

音訊解碼的過程和上面大同小異，主要區別在於，視訊是用surfaceView播放顯示的，而音訊我們需要使用AudioTrack來播放。

建立一個AudioPlayer類用於播放音訊

public class AudioPlayer {
    private int mFrequency;// 取樣率
    private int mChannel;// 聲道
    private int mSampBit;// 取樣精度
    private AudioTrack mAudioTrack;

    public AudioPlayer(int frequency, int channel, int sampbit) {
        this.mFrequency = frequency;
        this.mChannel = channel;
        this.mSampBit = sampbit;
    }

    /**
     * 初始化
     */
    public void init() {
        if (mAudioTrack != null) {
            release();
        }
        // 獲得構建物件的最小緩衝區大小
        int minBufSize = AudioTrack.getMinBufferSize(mFrequency, mChannel, mSampBit);
        mAudioTrack = new AudioTrack(AudioManager.STREAM_MUSIC,
                mFrequency, mChannel, mSampBit, minBufSize, AudioTrack.MODE_STREAM);
        mAudioTrack.play();
    }

    /**
     * 釋放資源
     */
    private void release() {
        if (mAudioTrack != null) {
            mAudioTrack.stop();
            mAudioTrack.release();
        }
    }

    /**
     * 將解碼後的pcm資料寫入audioTrack播放
     *
     * @param data   資料
     * @param offset 偏移
     * @param length 需要播放的長度
     */
    public void play(byte[] data, int offset, int length) {
        if (data == null || data.length == 0) {
            return;
        }
        try {
            mAudioTrack.write(data, offset, length);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}
複製程式碼

初始化音訊解碼器：

音訊的mineType是audio型別，我們根據這個來去音訊資訊即可。

String mimeType;
for (int i = 0; i < mediaExtractor.getTrackCount(); i++) { // 通道總數
    MediaFormat format = mediaExtractor.getTrackFormat(i); // 音訊檔案資訊
    mimeType = format.getString(MediaFormat.KEY_MIME);
    if (mimeType.startsWith("audio/")) { // 音訊通道
        mediaExtractor.selectTrack(i); // 切換到 音訊通道
        try {
            mediaCodec = MediaCodec.createDecoderByType(mimeType); // 建立解碼器,提供資料輸出
        } catch (IOException e) {
            e.printStackTrace();
        }
        mediaCodec.configure(format, null, null, 0);
        mPlayer = new AudioPlayer(format.getInteger(MediaFormat.KEY_SAMPLE_RATE), AudioFormat
                .CHANNEL_OUT_STEREO, AudioFormat.ENCODING_PCM_16BIT);
        mPlayer.init();
        break;
    }
}
if (mediaCodec == null) {
    Log.e(TAG, "Can't find video info!");
    return;
}

mediaCodec.start(); // 啟動MediaCodec ，等待傳入資料
複製程式碼

音訊解碼：

音訊解碼過程與視訊解碼大同小異，只需要額外呼叫一下我們建立的AudioPlayer來播放音訊即可。

while (!Thread.interrupted()) {

    if (!bIsEos) {
        int inIndex = mediaCodec.dequeueInputBuffer(0);
        if (inIndex >= 0) {
            ByteBuffer buffer = inputBuffers[inIndex];
            int nSampleSize = mediaExtractor.readSampleData(buffer, 0); // 讀取一幀資料至buffer中
            if (nSampleSize < 0) {
                Log.d(TAG, "InputBuffer BUFFER_FLAG_END_OF_STREAM");
                mediaCodec.queueInputBuffer(inIndex, 0, 0, 0, MediaCodec.BUFFER_FLAG_END_OF_STREAM);
                bIsEos = true;
            } else {
                // 填資料
                mediaCodec.queueInputBuffer(inIndex, 0, nSampleSize, mediaExtractor.getSampleTime(), 0); // 通知MediaDecode解碼剛剛傳入的資料
                mediaExtractor.advance(); // 繼續下一取樣
            }
        }
    }

    int outIndex = mediaCodec.dequeueOutputBuffer(info, 0);
    switch (outIndex) {
        case MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED:
            Log.d(TAG, "INFO_OUTPUT_BUFFERS_CHANGED");
            outputBuffers = mediaCodec.getOutputBuffers();
            break;
        case MediaCodec.INFO_OUTPUT_FORMAT_CHANGED:
            Log.d(TAG, "New format " + mediaCodec.getOutputFormat());
            break;
        case MediaCodec.INFO_TRY_AGAIN_LATER:
            Log.d(TAG, "dequeueOutputBuffer timed out!");
            break;
        default:
            ByteBuffer buffer = outputBuffers[outIndex];
            Log.v(TAG, "We can't use this buffer but render it due to the API limit, " + buffer);

            while (info.presentationTimeUs / 1000 > System.currentTimeMillis() - startMs) {
                try {
                    sleep(10);
                } catch (InterruptedException e) {
                    e.printStackTrace();
                    break;
                }
            }
            //用來儲存解碼後的資料
            byte[] outData = new byte[info.size];
            buffer.get(outData);
            //清空快取
            buffer.clear();
            //播放解碼後的資料
            mPlayer.play(outData, 0, info.size);
            mediaCodec.releaseOutputBuffer(outIndex, true);
            break;
    }

    // All decoded frames have been rendered, we can stop playing
    // now
    if ((info.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0) {
        Log.d("DecodeActivity", "OutputBuffer BUFFER_FLAG_END_OF_STREAM");
        break;
    }
}
複製程式碼

效果展示

視訊編碼資訊,為h.265:

播放效果（帶聲音）:

獲取MediaCodec支援解碼的編碼格式:

HashMap<String, MediaCodecInfo.CodecCapabilities> mEncoderInfos = new HashMap<>();
for(int i = MediaCodecList.getCodecCount() - 1; i >= 0; i--){
    MediaCodecInfo codecInfo = MediaCodecList.getCodecInfoAt(i);
    if(codecInfo.isEncoder()){
        for(String t : codecInfo.getSupportedTypes()){
            try{
                mEncoderInfos.put(t, codecInfo.getCapabilitiesForType(t));
            } catch(IllegalArgumentException e){
                e.printStackTrace();
            }
        }
    }
}
複製程式碼

完整demo地址

使用的時候將assets下的h265.mp4複製到sd卡即可

gitHub地址:github.com/JavaNoober/…

Android 音視訊 - MediaCodec 編解碼音視訊
2021-11-03
Android
Android MediaCodec硬解碼AAC音訊檔案（實時AAC音訊幀）並播放
2017-05-22
Android音訊
Android音視訊(四)MediaCodec編解碼AAC
2019-03-04
Android
使用 MediaCodec 在 Android 上進行硬解碼
2024-04-23
Android
視音訊播放
2018-02-28
音訊
iOS開發：音訊播放、錄音、視訊播放、拍照、視訊錄製
2016-03-05
iOS音訊
Android：MediaCodeC硬編碼解碼視訊，並將視訊幀儲存為圖片檔案
2019-02-17
Android
Android音視訊之MediaPlayer音視訊播放
2016-06-15
Android
使用jave1.0.2.jar進行音視訊轉碼
2018-09-29
JAR
iOS開發系列--音訊播放、錄音、視訊播放、拍照、視訊錄製(轉)
2020-04-04
iOS音訊
Android音視訊處理之MediaCodec
2018-11-06
Android
音視訊入門之音訊採集、編碼、播放
2018-12-28
音訊
Android音訊實時傳輸與播放（三）：AMR硬編碼與硬解碼
2015-04-15
Android音訊
MediaCodeC解碼視訊指定幀，迅捷、精確
2019-03-03
android使用MediaCodec實現非同步視訊編解碼
2018-07-29
Android非同步
iOS 9音訊應用播放音訊之iOS 9音訊播放進度
2016-01-07
iOS音訊
FFmpeg開發筆記（八）：ffmpeg解碼音訊並使用SDL同步音訊播放
2020-09-30
筆記音訊
Android 音視訊開發 - 使用AudioTrack播放音訊
2019-03-28
Android音訊
DM6446的音訊編解碼及播放實現
2010-10-27
音訊
使用MediaCodeC將圖片集編碼為視訊
2019-05-05
短視訊app開發，點選視訊進行全屏播放
2021-09-27
APP
Window 下 Qt5 使用QMediaplayer 進行視訊播放流播放問題
2015-03-15
QT
Android 音視訊開發視訊編碼，音訊編碼格式
2020-12-21
Android音訊
視訊播放器程式碼詳解
2017-11-12
播放器
帶你用AVPlayer實現音訊和視訊播放
2021-10-28
音訊
Android 音視訊錄製硬編碼實現
2018-09-18
Android
深度解析 H.265 視訊解決方案
2017-06-08
Web 端解碼 H.265 視訊可行性研究
2020-09-27
Web
Win10設定在播放視訊時針對視訊進行優化方法
2020-10-24
Win10優化
實現播放視訊及彈幕
2019-09-23
短視訊“音訊化”，音樂“視訊化”
2021-11-29
音訊
視訊硬編碼（iOS端）
2018-03-26
iOS
用MediaCodec實現多段視音訊的擷取與拼接
2015-09-11
音訊
各種音訊視訊編碼方法
2014-08-10
音訊
音視訊--音訊入門
2018-12-18
音訊
音視訊–音訊入門
2018-12-18
音訊
轉載:iOS音視訊實時採集硬體編碼
2018-06-04
iOS
Linux下使用"avconv"捕捉錄製桌面視訊及音訊
2015-07-17
Linux音訊