FFmpeg音視訊同步

MzDavid發表於2019-05-07

SDL2文章列表

SDL2入門

SDL2事件處理

SDL2紋理渲染

SDL2音訊播放

FFmpeg+SDL2實現視訊流播放

FFmpeg+SDL2實現音訊流播放

前兩篇文章分別做了音訊和視訊的播放，要實現一個完整的簡易播放器就必須要做到音視訊同步播放了，而音視訊同步在音視訊開發中又是非常重要的知識點，所以在這裡記錄下音視訊同步相關知識的理解。

音視訊同步簡介

從前面的學習可以知道，在一個視訊檔案中，音訊和視訊都是單獨以一條流的形式存在，互不干擾。那麼在播放時根據視訊的幀率（Frame Rate）和音訊的取樣率（Sample Rate）通過簡單的計算得到其在某一Frame（Sample）的播放時間分別播放，**理論**上應該是同步的。但是由於機器執行速度，解碼效率等等因素影響，很有可能出現音訊和視訊不同步，例如出現視訊中人在說話，卻只能看到人物嘴動卻沒有聲音，非常影響使用者觀看體驗。

如何做到音視訊同步？要知道音視訊同步是一個動態的過程，同步是暫時的，不同步才是常態，需要一種隨著時間會線性增長的量，視訊和音訊的播放速度都以該量為標準，播放快了就減慢播放速度；播放慢了就加快播放的速度，在你追我趕中達到同步的狀態。目前主要有三種方式實現同步：

  • 將視訊和音訊同步外部的時鐘上，選擇一個外部時鐘為基準，視訊和音訊的播放速度都以該時鐘為標準。
  • 將音訊同步到視訊上，就是以視訊的播放速度為基準來同步音訊。
  • 將視訊同步到音訊上，就是以音訊的播放速度為基準來同步視訊。

比較主流的是第三種，將視訊同步到音訊上。至於為什麼不使用前兩種，因為一般來說，人對於聲音的敏感度更高，如果頻繁地去調整音訊會產生雜音讓人感覺到刺耳不舒服，而人對影像的敏感度就低很多了，所以一般都會採用第三種方式。

複習DTS、PTS和時間基

  • PTS: Presentation Time Stamp，顯示渲染用的時間戳，告訴我們什麼時候需要顯示
  • DTS: Decode Time Stamp，視訊解碼時的時間戳，告訴我們什麼時候需要解碼

在音訊中PTS和DTS一般相同。但是在視訊中，由於B幀的存在，PTS和DTS可能會不同。

實際幀順序：I B B P

存放幀順序：I P B B

解碼時間戳：1 4 2 3

展示時間戳：1 2 3 4

  • 時間基
/**
 * This is the fundamental unit of time (in seconds) in terms
 * of which frame timestamps are represented.
 * 這是表示幀時間戳的基本時間單位(以秒為單位)。
**/
typedef struct AVRational{
    int num; ///< Numerator 分子
    int den; ///< Denominator 分母
} AVRational;
複製程式碼

時間基是一個分數，以秒為單位，比如1/50秒，那它到底表示的是什麼意思呢？以幀率為例，如果它的時間基是1/50秒，那麼就表示每隔1/50秒顯示一幀資料，也就是每1秒顯示50幀，幀率為50FPS。

每一幀資料都有對應的PTS，在播放視訊或音訊的時候我們需要將PTS時間戳轉化為以秒為單位的時間，用來最後的展示。那如何計算一楨在整個視訊中的時間位置？

static inline double av_q2d(AVRational a){
    return a.num / (double) a.den;
}

//計算一楨在整個視訊中的時間位置
timestamp(秒) = pts * av_q2d(st->time_base);
複製程式碼

Audio_Clock

Audio_Clock，也就是Audio的播放時長，從開始到當前的時間。獲取Audio_Clock：

if (pkt->pts != AV_NOPTS_VALUE) {
    state->audio_clock = av_q2d(state->audio_st->time_base) * pkt->pts;
}
複製程式碼

還沒有結束，由於一個packet中可以包含多個Frame幀，packet中的PTS比真正的播放的PTS可能會早很多，可以根據Sample Rate 和 Sample Format來計算出該packet中的資料可以播放的時長，再次更新Audio_Clock。

// 每秒鐘音訊播放的位元組數 取樣率 * 通道數 * 取樣位數 (一個sample佔用的位元組數)
n = 2 * state->audio_ctx->channels;
state->audio_clock += (double) data_size /
                   (double) (n * state->audio_ctx->sample_rate);
複製程式碼

最後還有一步，在我們獲取這個Audio_Clock時，很有可能音訊緩衝區還有沒有播放結束的資料，也就是有一部分資料實際還沒有播放，所以就要在Audio_Clock上減去這部分資料的播放時間，才是真正的Audio_Clock。

double get_audio_clock(VideoState *state) {
    double pts;
    int buf_size, bytes_per_sec;

    //上一步獲取的PTS
    pts = state->audio_clock;
    // 音訊緩衝區還沒有播放的資料
    buf_size = state->audio_buf_size - state->audio_buf_index; 
    // 每秒鐘音訊播放的位元組數
    bytes_per_sec = state->audio_ctx->sample_rate * state->audio_ctx->channels * 2;
    pts -= (double) buf_size / bytes_per_sec;
    return pts;
}
複製程式碼

get_audio_clock中返回的才是我們最終需要的Audio_Clock，當前的音訊的播放時長。

Video_Clock

Video_Clock，視訊播放到當前幀時的已播放的時間長度。

avcodec_send_packet(state->video_ctx, packet);
while (avcodec_receive_frame(state->video_ctx, pFrame) == 0) {
    if ((pts = pFrame->best_effort_timestamp) != AV_NOPTS_VALUE) {
    } else {
        pts = 0;
    }
    pts *= av_q2d(state->video_st->time_base); // 時間基換算，單位為秒

    pts = synchronize_video(state, pFrame, pts);
    
    av_packet_unref(packet);
}
複製程式碼

舊版的FFmpeg使用av_frame_get_best_effort_timestamp函式獲取視訊的最合適PTS，新版本的則在解碼時生成了best_effort_timestamp。但是依然可能會獲取不到正確的PTS，所以在synchronize_video中進行處理。

double synchronize_video(VideoState *state, AVFrame *src_frame, double pts) {

    double frame_delay;

    if (pts != 0) {
        state->video_clock = pts;
    } else {
        pts = state->video_clock;// PTS錯誤，使用上一次的PTS值
    }
    //根據時間基，計算每一幀的間隔時間
    frame_delay = av_q2d(state->video_ctx->time_base);
    //解碼後的幀要延時的時間
    frame_delay += src_frame->repeat_pict * (frame_delay * 0.5);
    state->video_clock += frame_delay;//得到video_clock,實際上也是預測的下一幀視訊的時間
    return pts;
}
複製程式碼

同步

上面兩步獲得了Audio_Clock和Video_Clock，這樣我們就有了視訊流中Frame的顯示時間，並且得到了作為基準時間的音訊播放時長Audio clock ，可以將視訊同步到音訊了。

  1. 用當前幀的PTS - 上一播放幀的PTS得到一個延遲時間
  2. 用當前幀的PTS和Audio_Clock進行比較，來判斷視訊的播放速度是快了還是慢了
  3. 根據2的結果，設定播放下一幀的延遲時間
#define AV_SYNC_THRESHOLD 0.01 // 同步最小閾值
#define AV_NOSYNC_THRESHOLD 10.0 //  不同步閾值
double actual_delay, delay, sync_threshold, ref_clock, diff;

// 當前Frame時間減去上一幀的時間，獲取兩幀間的延時
delay = vp->pts - is->frame_last_pts;
if (delay <= 0 || delay >= 1.0) { 
    // 延時小於0或大於1秒（太長）都是錯誤的，將延時時間設定為上一次的延時時間
    delay = is->frame_last_delay;
}

// 獲取音訊Audio_Clock
ref_clock = get_audio_clock(is);
// 得到當前PTS和Audio_Clock的差值
diff = vp->pts - ref_clock;

sync_threshold = (delay > AV_SYNC_THRESHOLD) ? delay : AV_SYNC_THRESHOLD;

// 調整播放下一幀的延遲時間，以實現同步
if (fabs(diff) < AV_NOSYNC_THRESHOLD) {
    if (diff <= -sync_threshold) { // 慢了，delay設為0
        delay = 0;
    } else if (diff >= sync_threshold) { // 快了，加倍delay
        delay = 2 * delay;
    }
 }
is->frame_timer += delay;
// 最終真正要延時的時間
actual_delay = is->frame_timer - (av_gettime() / 1000000.0);
if (actual_delay < 0.010) {
    // 延時時間過小就設定個最小值
    actual_delay = 0.010;
}
// 根據延時時間重新整理視訊
schedule_refresh(is, (int) (actual_delay * 1000 + 0.5));
複製程式碼

最後

將視訊同步到音訊上實現音視訊同步基本完成，總體就是動態的過程快了就等待，慢了就加速，在一個你追我趕的狀態下實現同步播放。

後面的部落格會真正實現一個音視訊同步的播放器。

相關文章