視訊知識入門，一篇就夠了

要跟物件微信視訊了，我的手機攝像頭解析度是720x1280的，那麼拍出的每幀圖片就有72012801.58 bit = 11M，想要看流暢畫面，每秒需要25幀吧，那麼就需要1125=275M的頻寬，更甚至1080p的593M，如果不壓縮視訊，根本帶不動。那麼你的那些高清好萊塢大片，2個小時呢，不經過壓縮怎麼存呢？

視訊有哪些格式？幀率、位元速率、解析度它們是什麼關係？什麼是壓縮？讓我們一起來走進視訊的內心世界吧。

基礎篇：

影象與視訊：

什麼是影象：
三維自然場景的物件包括：深度，紋理和亮度
二維影象： 紋理和亮度資訊

什麼是顏色

RGB色彩空間：
三原色：RGB
所有顏色的來源：任何顏色都可以按一定比例的三原色混合產生。
RGB色度空間：每個色度成分通常用8bit表示,範圍都是[0，255]

YUV色彩空間：
一般的視訊採集晶片輸出的碼流一般都是YUV資料流的形式。YUV是指亮度參量和色度參量分開表示的畫素格式，作用是描述影像色彩及飽和度，用於指定畫素的顏色。主要用於電視系統以及模擬視訊領域，它將亮度資訊（Y）與色彩資訊（UV）分離，沒有UV資訊一樣可以顯示完整的影象，只不過是黑白的。
· Y：亮度分量 （Luminance）
· UV：2個色度分量 （Chrominance）
· YUV更好的反應HVS特點

什麼是視訊？

連續的影象變化每秒超過24幀畫面以上時，根據視覺暫留原理，人眼無法辨別單幅的靜態畫面;看上去是平滑連續的視覺效果，這樣連續的畫面叫做視訊。

數字視訊：
自然場景空間和時間的數字取樣表示。
·空間取樣 解析度（Resolution） （左圖，即解析度）
· 時間取樣 幀率： 幀/秒

數字視訊系統：
採集： 照相機，攝像機
處理： 編解碼器，傳輸裝置
顯示： 顯示器

人類視覺系統HVS
HVS： 眼睛 神經 大腦

hvs特點：
對高頻資訊不敏感
對高對比度更敏感
對亮對比度資訊比色度資訊更敏感
對運動資訊更敏感

幀和場影象
一幀影象包括2場—頂場，底場

音視訊的格式有哪些

音訊格式：
1、 WAV
WAV是微軟公司開發的一種聲音檔案格式，用於儲存windows平臺的音訊資訊資源。是目前PC機上廣泛使用的聲音檔案格式，幾乎所有的音訊編輯軟體都識別WAV格式。
2、 FLAC
Free Lossless Audio Codec的縮寫，中文可理解為無損音訊壓縮編碼。FLAC是一套著名的音訊壓縮編碼，其特點是無失真壓縮。
3、 MP3
也就是指的是MPEG標準中的音訊部分，也就是MPEG音訊層。根據壓縮質量和編碼處理的不同分為3層，分別對應 .mp1 , mp2, . mp3 這3種聲音檔案。
其特點是檔案小，音質好；知道現在還是主流音訊格式。
4、 WMA
Windows Media Audio， 這種格式以減少資料流量但保持音質的方法來達到比MP3壓縮率更高的木器，WMA的壓縮率一般可以達到1：18左右；
5、 OGG
OGG格式完全開源，完全免費。與MP3類似，OGG也是對音訊進行有失真壓縮編碼，但通過使用更加先進的聲學模型去減少損失。因此，相同位元速率的OGG比MP3的音質更好，檔案也更小一些。
6、 AC-3
全稱“杜比AC-3“，是杜比公司開發的新一代家庭影院多聲道數字音訊編碼方式。杜比數字AC-3是根據感覺來開發的編碼系統多聲道環繞聲。主流的編解碼標準的壓縮物件都是YUV影象。

視訊格式：
1、 AVI
即音訊視訊交錯格式。是將語音和影響同步組合在一起的檔案格式。採用一種有失真壓縮方式，壓縮比較高，畫面質量不是太好，但由於絕大多數視訊編輯及轉換軟體匯入匯出avi格式較快。
2、 MP4
MP4大多使用mpeg-4或H.264視訊編碼器壓縮。RMVB使用real media視訊編碼器壓縮。
3、 MKV
MKV嚴格的來說並不是一個視訊格式，它是多媒體封裝格式，最大的特點就是能容納多種不同型別編碼的視訊、音訊及字幕流，主流的編解碼標準的壓縮物件都是YUV影象。
4、 FLV
FLV是FLASH VIDEO的簡稱。由於形成的檔案極小；載入速度極快，在網路視訊中，運用極為廣泛。但僅基本用於網路視訊。
5、 MOV
QuickTime具有跨平臺、儲存空間要求小等特點，採用了有失真壓縮方式的MOV格式檔案，畫面效果較AVI格式要稍微好一些。
目前基本僅見於IOS、mac上，但大多數播放器仍支援該格式。
6、3GP
3GP是一種3G流媒體的視訊編碼格式，3GP是MP4格式的一種簡化版本，減少了儲存空間和較低的頻寬需求，讓手機上有限的儲存空間可以使用。

進階篇：

視訊幀率、位元速率、解析度是什麼？到底哪一個影響視訊的清晰度？

解析度：單位 pixel

螢幕中寬高畫素點的個數
480x320, 640x480 標清
1280x720p 高清 HD
1920x1080p 全高清 FHD
2560x1440 2k
3840x2160 4k
7680x4320 8k
k是以長為基準說的，清晰度是以寬的清晰度說的。

位元速率： 單位 kb/s或者Mb/s

位元速率就是資料傳輸時單位時間傳送的資料位數。影響體積，位元速率越大，體積越大；位元速率越小，體積越小。
也就是取樣率（並不等同於取樣率，取樣率單位是HZ，表示每秒取樣的次數）
單位時間內取樣率越大，精度就越高。常常看見視訊播放軟體中的1024，720，高清，標清，流暢等，指的就是各種位元速率。
碼流越大，檔案體積也越大，其計算公式是檔案體積=時間X位元速率/8。例如，網路上常見的一部90分鐘1Mbps碼流的720P RMVB視訊，其大小計算為：60x90×1Mb/8=675MB。

幀率： 單位 fps

在一秒鐘時間內傳輸圖片的幀數，也可以理解為圖形處理器每秒能夠重新整理幾次；快速連續地顯示幀便形成了運動的假象，也就成了我們看到的視訊。
影響畫面流暢度，與畫面流暢度成正比；幀率越大，畫面越流暢；

為什麼要進行視訊壓縮？

1. 儲存困難。
2. 傳輸困難。

為什麼可以壓縮：
去除冗餘資訊：
空間冗餘：影象相鄰之間有較強的相關性
時間冗餘：視訊序列的相鄰影象之間內容相似
編碼冗餘：不同畫素值出現的概率不同
視覺冗餘：人的視覺系統對某些細節不敏感

資料壓縮分類：

無失真壓縮（lossless）

·壓縮之前和解壓之後影象完全一致
·壓縮比低（2：1 ~ 3：1）
例如：Windzip，JPEG-LS

有失真壓縮：

· 壓縮之前和解壓之後影象不一致
· 壓縮比高（10：1 ~ 20：1）
· 利用人的視覺系統的特性
例如：MPEG-2, H264/AVC,AVS

編解碼器：
· 編碼器： （Encoder）
壓縮訊號的裝置或程式

解碼器（Decoder）
解壓縮訊號的裝置或程式

編解碼器：（Codec）
編解碼器對
流程：

編解碼器：
· 機頂盒
· 數字電視
· 攝像機
· 監控器

主流的視訊編碼標準：
MPEG-2
MPEG-4 simple profile
H.264/AVC
AVS
VC-1

主流的H264 編碼

特點：高壓縮、高質量，支援多種網路流媒體傳輸。

編碼依據：
在相鄰幾幀影象中，有差別的畫素只有10%以內的點，亮度差變化不超過2%，色度差的變化只有1%以內。

過程：
先編碼一個完整影象幀I，P幀不編碼全部影象，只編入與I幀的差別，這樣P幀既能儲存自己的資訊，又只要原大小的1/10以內，同理以後的編碼，就將一段影象壓縮了。這段影象稱為一個序列，表示有相同特點的一段資料。

H264協議定義了三種幀：完整編碼的幀為I幀；參考前面的幀只包含差異部分編碼的幀為P幀；參考前後幀編碼的幀叫B幀。H264核心演算法是幀內壓縮和幀間壓縮。生成I幀的演算法用的幀內壓縮，生成B、P幀演算法用的幀間壓縮。

GOP（Group of picture）
關鍵幀的週期，也就是兩個IDR幀之間的距離，一個幀組的最大幀數，一般而言，每一秒視訊至少需要使用 1 個關鍵幀。通過提高GOP值來提高影象質量是有限度的，在遇到場景切換的情況時，H.264編碼器會自動強制插入一個I幀，此時實際的GOP值被縮短了。解碼某一個P或B幀時，需要先解碼得到本GOP內的I幀及之前的N個預測幀才可以，GOP值越長，需要解碼的預測幀就越多，seek預覽響應的時間也越長。
我們在做視訊編輯軟體初期，就出現seek卡頓的現象，GOP值設定大了，別人家的小影，美攝，Imovie就很流暢。

1.I幀
I幀為一個序列的第一幀，叫幀內編碼幀，也即常說的關鍵幀。這一幀畫面儲存完整，解碼時只需要本幀資料就可以完成。

2.P幀
P幀畫面儲存這一幀跟前一幀的差別，解碼時需要用以前快取的畫面疊加上本幀資料，最終生成畫面；P幀是I幀後相隔1-2幀的編碼幀；由於是差值傳送，P幀的壓縮比較高。

3.B幀
雙向預測內插編碼幀。B幀是雙向差別幀，記錄的是本幀與前後幀的差別；B幀不是參考幀，不會造成解碼錯誤的擴散；I幀的壓縮率是7，P幀是20，而B幀可達50，所以可節省大量空間。

11月份到了，南方的盆友冷不冷啊，注意保暖。小時候網路不發達，都不知道北京過冬這麼暖和！室內穿背心兒！