儘量降低視訊位元速率又不影響視訊的主觀觀看質量,這是視訊平臺最關心的問題之一,因為降低位元速率意味著視訊播放頻寬的下降,節約成本。
2018年3月,又拍雲自研的“窄帶高清”功能,通過位元速率控制優化,讓視訊在主觀質量不受影響的情況下,高效降低30%視訊位元速率。窄帶高清通過視訊內容複雜度演算法來確定視訊應用場景,繼而確定該場景下最優視訊編碼引數,輔助於位元速率控制演算法,最終達到視訊位元速率控制與頻寬優化這個目的。
窄帶高清可以有效提升視訊播放平臺終端使用者視訊開啟速度,並且減少視訊分發在頻寬成本的上的消耗。
為什麼窄帶高清可以節省流量
一般來說,視訊轉碼所需的成本比視訊播放頻寬少很多。因此通過視訊轉碼來降低頻寬成本成為可能,窄帶高清就是建立在這個大前提下的一個功能。通過窄帶高清功能可以節省30%的視訊位元速率,大大降低直播、點播等業務場景下的頻寬成本。
△ 左為源視訊,右為窄帶高清(詳見視訊演示)
窄帶高清是如何實現的
實現窄帶高清有兩個優化方向,1.在相同位元速率的情況下提升視訊質量;2.在主觀質量不受損失的情況下,儘可能降低視訊位元速率。
根據實際業務需求,又拍雲的“窄帶高清”功能採用了第二種思路,即保持視訊質量,降低位元速率。
場景劃分
首先我們需要對視訊進行內容複雜度分析,獲取場景資訊,取得視訊空間域的複雜度和時間域的複雜度,然後獲得視訊序列最終的複雜度,最終確定視訊編碼場景。
為什麼要進行場景劃分呢?
下文我們以場景運動劇烈和平緩的視訊為例,跟大家解釋一下場景劃分的原因。
△ 平緩視訊、劇烈視訊的位元速率分析(psnr)
從上圖可以看出,在相同質量下,場景運動緩慢的視訊比場景運動劇烈的視訊,所需位元速率少很多,這就是場景劃分的意義所在。
目前我們對手機拍攝視訊、動畫、商業動作大片、影視劇、線上教育、綜藝節目等視訊場景進行測試,獲取常見場景下視訊內容的編碼複雜度。
另外在高位元速率的時候,位元速率增加對視訊質量的提升比較少,因此只要找到合適位元速率,那麼視訊低位元速率下的質量和高位元速率下的質量是相差無幾的,這是窄帶高清的理論基石。
位元速率控制演算法研究
位元速率控制演算法是視訊編碼器中非常重要的部分,學術上,位元速率控制演算法分為兩種:CBR(Constant Bit Rate,恆定位元速率)和VBR(Variable Bit Rate,可變位元速率)。考慮到業務需求是在主觀質量不變的情況下,降低視訊檔案大小,又拍雲“窄帶高清”功能採用VBR的方式,並做了如下設定提升整體畫質的表現:
- 視訊運動緩慢的時候,使用更低的位元速率;運動劇烈的時候,使用更高的位元速率;
- 視訊影象內部,靜止的部分分配更少的位元速率;運動的部分分配更多的位元速率。
通俗的說,把位元速率放在該用的地方,不浪費每一個位元,實現更低的位元速率,更清晰的畫質,更小的檔案尺寸。
視訊編碼器優化
如何對視訊編碼器進行優化,又拍雲通過客觀質量評價加主觀質量評價想結合的辦法來制定視訊編碼器優化標準。
視訊質量評價作為視訊領域熱門的研究方向之一,分成主觀質量評價和客觀質量評價兩類。
主觀質量評價,即通過人工觀察者直接觀察視訊,在主觀打分,對視訊質量的好壞進行分級,該方法必須嚴格的測試環境實施步驟複雜,而且對觀察者要有一定的專業要求,因此實施起來需要巨大的代價,一般會用在科研機構小規模的演算法驗證。
而對海量視訊資料和工業界來說,客觀質量評價是更好的選擇。PSNR(Peak Signal to Noise Ratio,峰值訊雜比),是基於數學統計特性的評價方法,基於獨立的畫素差值,忽略序列內容對失真可見度的影響,因而會出現和主觀感知的視訊質量的一致性存在差異。但是演算法簡單,易於操作,且大規模應用。
針對PSNR的缺點,Zhou Wang等人實現了亮度、對比度和結構失真相互獨立的質量評價方法SSIM,得到更接近人眼視覺特性的評價指標。但是依然是過於簡單,遮蔽掉了HVS的其他生理特性。
視訊編碼器的引數數量很多,紛繁複雜,為了得到最佳的優化組合,我們用了客觀質量評價演算法PSNR(Peak Signal to Noise Ratio,峰值訊雜比)和SSIM(Structural SIMilarity,結構相似度),主觀質量評價演算法VMAF(Video Multi-Method Assessment Fusion),再配合人工主觀質量評價的方式,獲取了常見場景下視訊編碼器的引數優化方案。
又拍雲窄帶高清,融合了以上幾種客觀和主觀的評價方法,在編碼器優化過程中,獲取位元速率和視訊質量的平衡。
目前,絕大多數視訊還是使用H.264/AVC視訊編碼標準,更先進的H.265/HEVC和VP9的普及度還不夠。因此又拍雲“窄帶高清”功能優先支援了H.264視訊編碼格式,未來將支援H.265格式。
學術界還有許多位元速率方面的研究成果,比如基於ROI(Region of Interest,感興趣區域)和HVS(Human Visual System,人眼視覺系統)的位元速率控制,這些成果和技術,又拍雲也將積極融入到相關產品和解決方案中。
推薦閱讀:
深入解析 H.265 編碼模式,帶你瞭解 Apple 全面推進 H.265 的原因