1小時學會：最簡單的iOS直播推流（十一）sps&pps和AudioSpecificConfig介紹（完結）

hard_man發表於2018-01-19
iOS

最簡單的iOS 推流程式碼，視訊捕獲，軟編碼(faac，x264)，硬編碼（aac，h264），美顏，flv編碼，rtmp協議，陸續更新程式碼解析，你想學的知識這裡都有，願意懂直播技術的同學快來看！！

原始碼：https://github.com/hardman/AWLive

#簡述sps/pps/AudioSpecificConfig 前文中已經多次提到過sps&pps/AudioSpecificConfig。

sps&pps是h264中的概念，它包含了一些編碼資訊，如profile，影像尺寸等資訊。在flv中，包含sps&pps的部分被稱為 AVC Sequence header（即AVCDecoderConfigurationRecord，參考ISO-14496-15 AVC file format）。

AudioSpecificConfig是aac中的概念，它包含了音訊資訊，如取樣率，聲道數等資訊。在flv中包含AudioSpecificConfig的部分被稱為 AAC Sequence header（即AudioSpecificConfig，參考ISO-14496-3 Audio）。

這兩種資料格式可參考標準文件或者網路上的博文，這裡只介紹一下在硬編碼/軟編碼的情況下，如何獲取並處理這些資料。

可以看出，這兩個概念其實就是編碼的一個配置檔案，儲存的是後續音視訊資料的一些公共屬性。

sps&pps

h264編碼後，能夠直接獲取sps&pps資料。

軟編碼獲取sps&pps資料的程式碼在aw_x264.c中

//軟編碼x264獲取sps&pps資料
static void aw_encode_x264_header(aw_x264_context *aw_ctx){
    //主要就是libx264中的此方法
    x264_encoder_headers(aw_ctx->x264_handler, &aw_ctx->nal, &aw_ctx->nal_count);
    
    //將獲取到的sps&pps資料取出來，儲存到aw_ctx->sps_pps_data中
    //儲存sps pps data
    uint8_t *sps_bytes = NULL;
    int8_t sps_len = 0;
    uint8_t *pps_bytes = NULL;
    int8_t pps_len = 0;
    int i = 0;
    for (; i < aw_ctx->nal_count; i++) {
        if (aw_ctx->nal[i].i_type == NAL_SPS) {
            sps_bytes = (uint8_t *)aw_ctx->nal[i].p_payload + 4;
            sps_len = aw_ctx->nal[i].i_payload - 4;
        }else if(aw_ctx->nal[i].i_type == NAL_PPS){
            pps_bytes = (uint8_t *)aw_ctx->nal[i].p_payload + 4;
            pps_len = aw_ctx->nal[i].i_payload - 4;
        }
    }
    
    aw_data *avc_decoder_record = aw_create_sps_pps_data(sps_bytes, sps_len, pps_bytes, pps_len);
    memcpy_aw_data(&aw_ctx->sps_pps_data, avc_decoder_record->data, avc_decoder_record->size);
    free_aw_data(&avc_decoder_record);
}
複製程式碼

硬編碼的sps&pps資料能夠通過關鍵幀獲取。程式碼在AWHWH264Encoder.m中

//硬編碼h264獲取sps&pps資料
static void vtCompressionSessionCallback (void * CM_NULLABLE outputCallbackRefCon,
                                          void * CM_NULLABLE sourceFrameRefCon,
                                          OSStatus status,
                                          VTEncodeInfoFlags infoFlags,
                                          CM_NULLABLE CMSampleBufferRef sampleBuffer ){
    ... ...
    ... ...
    //是否是關鍵幀，關鍵幀和非關鍵幀要區分清楚。推流時也要註明。
    BOOL isKeyFrame = !CFDictionaryContainsKey( (CFArrayGetValueAtIndex(CMSampleBufferGetSampleAttachmentsArray(sampleBuffer, true), 0)), kCMSampleAttachmentKey_NotSync);
    
    //首先獲取sps 和pps
    //sps pss 也是h264的一部分，可以認為它們是特別的h264視訊幀，儲存了h264視訊的一些必要資訊。
    //沒有這部分資料h264視訊很難解析出來。
    //資料處理時，sps pps 資料可以作為一個普通h264幀，放在h264視訊流的最前面。
    BOOL needSpsPps = NO;
    //這裡判斷一下只取一次sps&pps即可
    if (!encoder.spsPpsData) {
        if (isKeyFrame) {
            //獲取avcC，這就是我們想要的sps和pps資料。
            //如果儲存到檔案中，需要將此資料前加上 [0 0 0 1] 4個位元組，寫入到h264檔案的最前面。
            //如果推流，將此資料放入flv資料區即可。
            CMFormatDescriptionRef sampleBufFormat = CMSampleBufferGetFormatDescription(sampleBuffer);
            NSDictionary *dict = (__bridge NSDictionary *)CMFormatDescriptionGetExtensions(sampleBufFormat);
            encoder.spsPpsData = dict[@"SampleDescriptionExtensionAtoms"][@"avcC"];
        }
        needSpsPps = YES;
    }
    ... ... 
    ... ...
複製程式碼

成功獲取sps&pps資料後，可通過aw_sw_x264_encoder.c中的方法aw_encoder_create_sps_pps_tag建立對應的video tag，之後可直接像普通video tag一樣傳送。

//建立sps_pps_tag
extern aw_flv_video_tag *aw_encoder_create_sps_pps_tag(aw_data *sps_pps_data){
    //建立普通video tag
    aw_flv_video_tag *sps_pps_tag = aw_sw_encoder_create_flv_video_tag();
    //關鍵幀
    sps_pps_tag->frame_type = aw_flv_v_frame_type_key;
    //package型別，固定的寫0即可
    sps_pps_tag->h264_package_type = aw_flv_v_h264_packet_type_seq_header;
    //cts寫0
    sps_pps_tag->h264_composition_time = 0;
    //sps&pps資料，資料上同真實video tag的h264資料放同一個位置
    sps_pps_tag->config_record_data = copy_aw_data(sps_pps_data);
    //pts寫0
    sps_pps_tag->common_tag.timestamp = 0;
    //資料總長度
    sps_pps_tag->common_tag.data_size = sps_pps_data->size + 11 + sps_pps_tag->common_tag.header_size;
    //返回
    return sps_pps_tag;
}

複製程式碼

#AudioSpecificConfig

aac軟編碼庫faac初始化之後，能夠直接獲取AudioSpecificConfig資料，在aw_faac.c中。

static void aw_open_faac_enc_handler(aw_faac_context *faac_ctx){
    //開啟faac
    faac_ctx->faac_handler = faacEncOpen(faac_ctx->config.sample_rate, faac_ctx->config.channel_count, &faac_ctx->max_input_sample_count, &faac_ctx->max_output_byte_count);
    
    ... ...
    ... ...
    
    //配置好faac
    faacEncSetConfiguration(faac_ctx->faac_handler, faac_config);
    
    //主要通過此方法獲取AudioSpecificConfig，audio_specific_data就是想要的資料
    uint8_t *audio_specific_data = NULL;
    unsigned long audio_specific_data_len = 0;
    faacEncGetDecoderSpecificInfo(faac_ctx->faac_handler, &audio_specific_data, &audio_specific_data_len);
    
    ... ...
    
}
複製程式碼

另外，AudioSpecificConfig資料結構很簡單，可以自己簡單構造一份。可參考AWHWAACEncoder.m中的createAudioSpecificConfigFlvTag函式。

-(aw_flv_audio_tag *)createAudioSpecificConfigFlvTag{
    //AudioSpecificConfig中包含3種元素：profile，sampleRate，channelCount
    //結構是：profile(5bit)-sampleRate(4bit)-channelCount(4bit)-空(3bit)
    uint8_t profile = kMPEG4Object_AAC_LC;
    uint8_t sampleRate = 4;
    uint8_t chanCfg = 1;
    uint8_t config1 = (profile << 3) | ((sampleRate & 0xe) >> 1);
    uint8_t config2 = ((sampleRate & 0x1) << 7) | (chanCfg << 3);
    
    //寫入config_data中
    aw_data *config_data = NULL;
    data_writer.write_uint8(&config_data, config1);
    data_writer.write_uint8(&config_data, config2);
    
    ... ...
    ... ...
}
複製程式碼

拿到AudioSpecificConfig資料後，可通過aw_sw_faac_encoder.c中的aw_encoder_create_audio_specific_config_tag來建立對應的flv audio tag，之後可像正常audio tag一樣傳送。

extern aw_flv_audio_tag *aw_encoder_create_audio_specific_config_tag(aw_data *audio_specific_config_data, aw_faac_config *faac_config){
    //建立普通的audio tag
    aw_flv_audio_tag *audio_tag = aw_sw_encoder_create_flv_audio_tag(faac_config);
    
    //AudioSpecificConfig資料，同正常的audio tag在相同位置
    audio_tag->config_record_data = copy_aw_data(audio_specific_config_data);
    //時間戳0
    audio_tag->common_tag.timestamp = 0;
    //整個tag長度
    audio_tag->common_tag.data_size = audio_specific_config_data->size + 11 + audio_tag->common_tag.header_size;
    
    return audio_tag;
}
複製程式碼

rtmp連線成功後，一定要先傳送sps&pps和AudioSpecificConfig這兩個資料對應的tag，否則視訊是播放不出來的。

文章列表

  1. 1小時學會：最簡單的iOS直播推流（一）專案介紹
  2. 1小時學會：最簡單的iOS直播推流（二）程式碼架構概述
  3. 1小時學會：最簡單的iOS直播推流（三）使用系統介面捕獲音視訊
  4. 1小時學會：最簡單的iOS直播推流（四）如何使用GPUImage，如何美顏
  5. 1小時學會：最簡單的iOS直播推流（五）yuv、pcm資料的介紹和獲取
  6. 1小時學會：最簡單的iOS直播推流（六）h264、aac、flv介紹
  7. 1小時學會：最簡單的iOS直播推流（七）h264/aac 硬編碼
  8. 1小時學會：最簡單的iOS直播推流（八）h264/aac 軟編碼
  9. 1小時學會：最簡單的iOS直播推流（九）flv 編碼與音視訊時間戳同步
  10. 1小時學會：最簡單的iOS直播推流（十）librtmp使用介紹
  11. 1小時學會：最簡單的iOS直播推流（十一）sps&pps和AudioSpecificConfig介紹（完結）

相關文章