H.265/HEVC 簡述 第二課（數字視訊格式）

前言

本系列部落格是對H.265/HEVC視訊編碼進行一個簡單的介紹，主要介紹大致的編碼框架和流程，不涉及演算法和公式的詳細推導與證明過程，適用於剛接觸視訊編碼與H.265/HEVC的新手玩家。
我的參考書籍是萬帥、楊付正所編著的《新一代高效視訊編碼 H.265/HEVC：原理、標準與實現》。這本書的電子版存放在我的百度網盤，大家可以自行取用。
連結：https://pan.baidu.com/s/1zhczlcI1wNB3pIR9ehMq4Q
百度網盤-《H.265》電子版
提取碼：prbb

本篇部落格是該系列部落格的第二篇部落格，主要是講解一些數字視訊的一些基本知識，例如表示形式，格式等，還有H.265/HEVC標準中支援的視訊格式。

系列部落格的連結：
1、H.265/HEVC 簡述 第一課（緒論）

數字視訊

視訊由許多幅按時間排列的連續影像組成，每幅完整影像稱為一幀。由於視覺暫留機理，當連續播放影像每秒超過24幀以上時，人眼無法辨別單幅的靜態畫面，影像序列看上去是平滑連續的視覺效果，這樣連續的畫面叫做視訊。
數字視訊就是以數字形式記錄的視訊，數字視訊由一幅幅數字影像組成，每幅影像由N行、每行M個畫素組成，每個畫素由數字化的數值表示。
數字視訊有時間解析度、空間解析度、色彩空間、量化深度等引數，這些引數的組合稱為視訊格式。時間解析度的單位為每秒影像的幀數，即幀率。幀率越高，視訊的流程性越好，但幀率到達一定值後，人眼也就無法再看出差別，所有不用追求特別高的幀率。空間解析度指的是影像的畫素行數和每行的畫素數，空間解析度越高，影像的細節越清晰，常見的高清視訊的空間解析度是1920 * 1080。色彩空間，或稱為顏色空間，是描述畫素顏色的形式，其目的是使用某些標準方式對彩色加以說明，一個彩色畫素通常由三種分量描述，在視訊壓縮中常用的是RGB、YUV、YCbCr色彩空間。而畫素每一個分量的數值所對應的量化等級為量化深度，量化深度越大，畫素值越精確，例如傳統的影像每個顏色空間分量用8位元來表示畫素值，就有256個灰度等級。

數字視訊格式

在數字視訊採集的過程中，可以採用兩種不同的採集方法：第一種是對亮度和色度訊號採用相同的空間取樣頻率進行取樣，第二種是對色度訊號使用的空間取樣頻率比對亮度訊號使用的空間取樣頻率低，這種取樣方式就稱為色度亞取樣。之所以可以使用色度亞取樣，是因為人眼對於色度訊號的敏感程度比亮度訊號低，利用該特性就可以把影像中的一些色度資訊去掉而不會被人所察覺。

在YCbCr色彩空間中，Y代表明亮度，Cb代表RGB輸入訊號藍色部分與訊號亮度值之間的差異，Cr代表RGB輸入訊號紅色部分與訊號亮度值之間的差異。在該色彩空間中主要有四種取樣格式，分別是4：4：4、4：2：2、4：1：1、4：2：0，它們的位置示意圖如下所示。

其中紅色小圓圈代表亮度樣本Y，而藍色小三角代表色差樣本Cb與Cr。位置示意圖的原理類似，這裡只講解一下4：2：0的YCbCr取樣格式。在這種取樣格式下，在水平和垂直方向上都對色度分量進行了2:1的抽樣，即每4個Y樣本對應一個Cb樣本和一個Cr樣本。而0代表著這兩種色差樣本在傳輸時是每行交替進行的，即每一行傳輸時只傳輸兩個色差樣本中的一個。在這種格式中，色度分量在水平和垂直方向上的解析度均是亮度分量的1/2。

H.265/HEVC編碼視訊格式

不同格式的視訊源經過前處理模組轉化為統一的資料格式，編解碼器只需要應對少量幾種統一的視訊資料格式，解碼後的視訊再經過後處理模組轉化為和視訊源格式一致的恢復視訊。視訊通訊的原理框圖如下所示：

我們稱編碼器的輸入視訊為編碼視訊，其具有的格式資訊被稱為編碼視訊格式。不同格式的編碼視訊採用較統一的資料結構。解碼器輸出視訊被稱為解碼視訊，其具有的格式資訊被稱為解碼視訊格式。
編碼視訊採用統一的多級資料結構：
（1）編碼視訊為按順序排列的影像序列。
（2）影像為一個或多個長方形取樣矩陣，每個矩陣對應亮度或色度分量。
（3）畫素對應矩陣的元素，元素值為畫素的取值，元素的行列座標代表畫素的空間位置。
編碼視訊格式主要包括編碼影像格式，編碼影像格式主要包括矩陣數量，空間關係，影像空間解析度，畫素量化深度等。這些語法元素屬於序列引數集（SPS）。H.265/HEVC僅規定了四類編碼影像格式，每類對應不同的矩陣數量和相應的色度分量。
1、僅僅包含取樣矩陣Y
2、一個亮度分量加兩個色度分量（YCbCr或YCgCo）
3、三個色度取樣矩陣（RGB）
4、其他未指定單色或三激勵彩色空間取樣矩陣

解碼視訊格式中不僅僅有編碼視訊格式，還有掃描型別、影像型別、色彩空間等。

掃描型別是指影像是逐行掃描還是隔行掃描，逐行掃描方式是將每幀的所有畫面同時顯示，隔行掃描方式是每一幀被分割為兩場畫面交替顯示，分為頂場和底場。
影像型別是指影像中畫素的空間結構，如影像是逐行掃描的幀還是隔行掃描的頂場。
取樣寬高比是表示畫素寬度和高度的比值，結合影像的空間解析度就可以得到影像顯示時的寬高比。
過掃描是指顯示器輸入影像的邊緣附近部分畫素在螢幕上不可見。
視訊格式就是視訊的編碼方式。
畫素值特性就是指畫素中的顏色，該顏色由亮度與色度共同表示。