下一代編解碼技術Ali266在影片超高畫質領域的應用展望

超高畫質與各領域的需求融合和創新正在發生。

2022年是一個體育大年，眾多世界級體育賽事透過影片直播、轉播等形式給觀眾帶來暢爽的觀看體驗。

2022年北京冬奧會，實現了奧運會歷史上首次賽事全程4K製作播出，並在開幕式上提供了8K超高畫質公共訊號，讓觀眾可以享受到超高畫質影片帶來的更加清晰、真實和沉浸的比賽畫面。

隨著國家政策持續發力、市場需求不斷增長，影片作為資訊傳播的重要載體，正在經歷從標清、高畫質到4K超高畫質、8K超高畫質的發展。與此同時，超高畫質影片應用範圍也滲透至各行各業，從廣播電視、文化娛樂，到安防監控、醫療影像，超高畫質與各領域的需求融合和創新正在發生。

01 超高畫質產業風口vs編碼效率困境

從標清到8K超高畫質，影片解析度從（小於）1280720增加到（大於或等於）76804320，畫面畫素從30萬畫素增加到3200萬畫素以上。

除了高解析度外，在高幀率、高色深、寬色域、高動態範圍、三維立體聲上各項指標都顯著提升。幀率從24fps發展到60fps，再到120fps；位深從8bit發展到10bit，再到12bit；從SDR（標準動態範圍）發展到HDR（高動態範圍）；從窄色域發展到寬色域。

解析度、位深、幀率、亮度、色域的發展讓使用者的影片臨場感體驗大大增強，獲得更加清晰的畫面，更加廣闊的視野、更加逼真的色彩，更加平滑順暢的畫面和更加立體環繞的聲效。

但是隨著解析度尺寸越來越大，幀率越來越高，以及動態範圍的增大等，也使超高畫質影片傳輸的資料量陡增，給影片傳輸和後端儲存帶來巨大的壓力和激增的成本。以一部2小時的藍光電影（解析度1920*1080，幀率24fps）為例，未經壓縮的資料量約為500GB，以100Mbps頻寬進行傳輸，這部2小時的電影需要傳輸超過11小時。

面對如此巨大的傳輸和儲存壓力，編解碼技術的迭代為4K/8K超高畫質影片的發展和普及夯實了技術基礎。影片編解碼技術透過去除時間、空間和視覺冗餘等方式，實現對原影片的壓縮與解壓，將其轉化為更易傳輸的影片碼流，提升影片傳輸效率的同時保留了原影片的高畫質畫質，使使用者流暢高畫質觀影成為現實。

近30年來，影片編碼標準正遵循其自身的“摩爾定律”不斷演進。ITU-T和ISO/IEC MPEG兩大重頭國際影片標準組織不斷推動影片編碼標準的迭代，每次迭代壓縮率相比上一代實現翻倍，編碼效率的提升觸發了很多影片產業界的技術變革和創新。

H.262/MPEG-2 標準的出現推動了模擬電視到數字電視的變革；H.264/AVC 的出現使高畫質影片和網際網路影片得以廣泛推廣；H.265/HEVC 成功推動了 HDR和4K 超高畫質影片的落地；最新一代H.266/VVC更將推動4K/8K超高畫質影片及VR/AR影片的發展和普及。

02 夯實基礎：新一代多功能影片編碼H.266/VVC

近年來，隨著高畫質、超高畫質影片應用走進大眾的視野，影片編碼技術受到了巨大的挑戰。此外，各式各樣的影片應用也隨著網路技術、影片採集處理技術和儲存技術的發展不斷湧現。

如今，數字影片廣播、視訊會議會話、短影片、沉浸式影片體驗、遠端監控、醫學成像和便攜攝影等，都已走進人們的生活。

同時，由於遠端辦公的興起，在視訊會議場景中往往要對螢幕內容（PPT、文件、表格等）進行分享。因此，影片應用的多樣化和高畫質化趨勢對影片編碼效能提出了更高的要求。

最新一代H.266/VVC標準是國際兩大標準組織聯手推出的最新一代旗艦影片標準。包括阿里巴巴在內的全球貢獻者積極參與H.266/VVC標準的制定，持續推動技術的迭代升級，持續最佳化影片播放的流暢度與高畫質度，實現在同等畫質下更省流、在同等頻寬下更高畫質的觀看體驗，特別在最佳化4K/8K超高畫質影片、VR/AR影片、360度全景影片的觀看體驗上表現突出。

位元速率壓縮性節省50%，極大減輕超高畫質影片的傳輸和儲存負擔。

H.266/VVC仍然是在基於塊的混合編碼框架內，但幾乎對編碼的每個環節都進行了改進，並在H.265/HEVC基礎上新增了多種編碼技術或工具，擠壓尚未除盡的資訊冗餘，使H.266/VVC在相同影片感知質量下能夠比H.265/HEVC節約50% 左右的位元速率，壓縮效能卓越。列舉部分技術特色如下：

靈活的塊大小和塊劃分結構，更加適用於超高解析度影片

下圖顯示了H.266/VVC與H.265/HEVC兩代標準塊劃分方式的不同。

在H.265/HEVC中，最大的塊尺寸是64x64，而在H.266/VVC中，允許塊尺寸最大達到128x128。最大塊尺寸的增加對於4K、8K或360°影片等高解析度影片尤其有利，因為這些影片更容易包含大面積的同質區域。

在這些同質區域，採用更大的編碼單元可以減少信令的開銷，從而實現更大的影片壓縮。實驗結果表明，解析度越大，H.266/VVC所取得的位元速率降幅也越大。

此外，H.266/VVC採用基於四叉樹+二叉樹+三叉樹的編碼單元劃分，編碼塊可以是正方形或矩形，而H.265/HEVC中的塊只能是正方形（四叉樹結構），這種劃分方式可以根據影像內容自適應進行，提升了劃分靈活性。

更多的幀內預測模式，更有效地去除空間冗餘

幀內預測編碼是去除空間冗餘的核心技術之一。H.266/VVC的幀內預測比H.265/HEVC預測方向更細、更靈活。

如下圖所示，H.266/VVC為亮度預測塊定義了65種不同的基本幀內預測方向，相當於在H.265/HEVC幀內預測33個方向的基礎上，每兩個方向中間增加一個方向，連同平面（Planar）和直流（DC）模式，共67種預測模式。

H.266/VVC亮度幀內預測單元還包含矩形模式，考慮到方便矩形的寬角度幀內預測（Wide Angle Intra Prediction, WAIP）模式，H.266/VVC的幀內預測在65種方向的基礎上分別增加了-1到-14和67到80方向，共28個方向，這樣H.266/VVC幀內預測編碼總共有93個方向。

H.266/VVC除了增加幀內預測方向和寬角度幀內預測模式外，還使用了幀內子區域劃分（Intra Sub-Partitions，ISP）技術、跨分量線性模型（Cross-Component Linear Model，CCLM）技術、多參考行幀內預測（Multiple Reference Line Intra Prediction, MRLP）技術、位置依賴的幀內聯合預測（Position Dependent Intra Prediction Combination, PDPC）技術、基於矩陣的幀內預測（Matrix based Intra Prediction，MIP）技術等。每一種模式都代表了利用待編碼塊相鄰畫素來合成預測塊的機制，方向越多，幀內預測精度越高，從而更有效地去除空間冗餘。

擴充套件和新增幀間預測模式，更有效地去除時間冗餘

幀間預測編碼是H.266/VVC擴充套件和新增編碼工具和技術最多的模組，在基礎H.265/HEVC已有的幀間預測編碼技術的基礎上，在運動向量的預測和獲取、運動補償等模組中，都增加了許多新技術。一個比較有意思的例子是幾何劃分預測模式（Geometric Partition Mode，GPM），如下圖所示。

在前幾代標準中，運動估計是在方形或矩形形狀的塊上進行的，以從先前編碼幀中類似形狀的塊中預測它們。然而，實際影片內容多種多樣，當運動物體具有非水平或垂直邊緣時，常規矩形編碼塊並不能有效匹配，預測表達不夠高效。

針對這個問題，H.266/VVC可根據需要採用幾何劃分模式，用自己塊內的一直線將該編碼單元分割成為兩個部分（導致三角形或梯形形狀的子分割槽）。然後，兩個部分可根據各自的運動資訊，運動補償出各自的預測值，從而提高了預測精度。

定位多功能影片編碼標準，極大提高新型超高畫質影片使用者體驗。

更好地相容10bit位深，配合終端顯示裝置，影片色彩更加逼真

HDR/WCG影片資料具有高水平的亮度，並且具有更廣泛的色域。對於HDR10影片，編碼的問題是如何有效地支援這種更豐富的資料型別，既支援更大的亮度規模，又支援更寬的色彩範圍。

H.266/VVC在2017年10月釋出技術徵求書時，就將HDR/WCG作為主要面向的應用，因此，其入門檔次（Main10 Profile）就支援10bit位深的編碼標準。而在其前幾代標準中，入門檔次只支援8bit位深，而10bit位深需要利用擴充套件檔次才能支援，因此一定程度上降低了對10bit位深影片的相容性。

採用特殊編碼方式保障360全景球面影片的壓縮效率和觀看質量

基於360度全包圍視角的球面影片的渲染需要，H.266/VVC標準引入了子圖的概念，它可以有效地提取和合並不同質量的影片片段，很好地滿足了沉浸式影片有效檢視的渲染需求。此外，還採用了特殊的編碼工具，包括水平環繞運動補償、虛擬邊界取消環路濾波等，來進一步提升影片壓縮效能，提高沉浸式影片的觀看質量。

多層編碼機制，實現超高畫質影片在複雜網路環境下的低延時傳輸，保障使用者互動體驗

此外，H.266/VVC採用了漸進解碼重新整理技術避免超低時延影片流中的位元速率波動，採用參考幀重取樣技術為自適應影片流提供靈活的空間解析度變化，採用多層編碼機制提供了時域、空間域及質量域的可分級能力，保證超高畫質影片的低延時互操作性和使用者體驗。

03 再升級：Ali266提供完整的實時高畫質編解碼能力

Ali266是達摩院影片技術實驗室對最新標準H.266/VVC的編解碼實現，具有自成一體的完整實時高畫質編解碼能力。Ali266的設計遵循H.266/VVC標準，具備該編碼標準高效性和多用途性等特點。Ali266編解碼器為業界提供了新一代影片編解碼高效解決方案，極大推動了H.266/VVC標準端到端的生態建設。

在解碼端，Ali266自研的解碼器架構、資料結構和記憶體可複用設計，透過多核並行、彙編最佳化、記憶體佔用和訪存效率最佳化等一系列工程和演算法的最佳化手段來提高解碼速度，可完美相容Android、iOS、Linux、MacOS、Windows等多種平臺。值得一提的是，整合Ali266解碼器的中低端手機也可清晰流暢地觀看最新的H.266/VVC影片或直播，更好地滿足移動網際網路時代的使用者使用需求。

此外，Ali266解碼器在穩定性、魯棒性、記憶體佔用等方面充分考慮了商業化軟體的需求，經過不同平臺多款高中低端裝置的大規模測試，驗證了Ali266解碼器的魯棒性、穩定性和可商用性。

在編碼端，達摩院影片技術實驗室憑藉在影片編解碼領域的深耕和積累，將目標鎖定在研發一款能根據不同應用，提供不同速度檔位，具備離線和實時處理能力的H.266/VVC編碼器，致力於推動H.266/VVC標準的實用化和最新科技成果的普惠化，為當前超高畫質影片應用帶來更優質的使用者體驗。

Ali266一方面透過實現多種編碼演算法提升編碼質量，提高壓縮效率，例如運動補償時域濾波，自適應GOP大小決策，場景切換檢測，螢幕內容檢測、位元速率控制技術等。另一方面，Ali266涵蓋了上百種編碼快速演算法，配合多執行緒技術、彙編指令、記憶體訪問效率等工程最佳化手段，大幅提高編碼速度。

在MSU主辦的2021年世界編碼器大賽中，Ali266獲得了全高畫質（FullHD）客觀效能賽道14項評測指標中的8項第一，4項第二，2項第三；在主觀效能賽道，Ali266更是在全球16款參賽編碼器中以大比分優勢獲得第一，在與MSU官方指定的基準編碼器x265相同的主觀質量下，頻寬節省高達71% 。MSU大賽結果顯示，Ali266是唯一一個所有指標都進入前三的編碼器，充分證明了Ali266在各指標下全面均衡的編碼效能。

2022年11月初，Ali266亮相雲棲大會，觀眾可近距離觀看Ali266生產的電影、動畫、紀錄片、武術動作等四個超高畫質影片，並親手參與互動體驗Ali266與上一代影片編碼標準H.265/HEVC的開源編碼器x265的主觀畫質對比。實驗結果顯示，在上述四個場景下，在同等主客觀畫質下，Ali266編碼的影片比x265編碼的影片位元速率平均降低54% 以上，為Ali266在超高畫質產業的應用描繪了光明的前景。

04 持續滲透：Ali266的多領域應用與展望

Ali266在娛樂影片領域的應用

影片超高畫質化首先在娛樂影片領域取得了重要進展，從傳統的電視臺、運營商，逐漸向網際網路OTT聚合平臺，短影片應用、影業製作、線下體驗店等滲透。5G+4K/8K製播技術逐步成熟；各地陸續開播4K頻道；IPTV差異化發展；超高畫質內容迅速增加。國家廣電總局陸續出臺了 5G高新影片系列白皮書，涵蓋互動影片、沉浸式影片、VR 影片和雲遊戲四個方面。文教娛樂領域雲化超高畫質應用不斷湧現，慢直播、網紅直播和直播帶貨、雲賽事、雲演藝、雲展覽等新業態成為新的亮點。

在影片超高畫質化的程式中，依託於達摩院影片技術實驗室的Ali266，阿里雲一直在探索推動Ali266的商用之路。2022年1月Ali266在優酷正式上線，優酷也成為目前已知的業界首個H.266/VVC的商用落地專案，充分享受影片編解碼標準升級帶來的技術紅利。

除了內容創作外，隨著5G、AI、大資料、編解碼技術、VR/AR等技術的發展，各影片平臺紛紛在技術上加碼，旨在透過領先技術的應用為使用者帶來更加流暢高畫質、互動沉浸的感官體驗。優酷作為中國領先的影片平臺，透過技術驅動打造了幀享超高畫質、優酷自由視角等超高畫質全景式影片來提升使用者的觀看體驗。

幀享是由優酷發起，與產業鏈合作伙伴聯手打造的新一代影片製作與播放標準，包含兩大業務板塊：幀享超高畫質和幀享數字化製作。幀享超高畫質打造了從質量評估，HDR調色，4K 120幀重製的超高畫質內容生產流程，輸出了4000餘部幀享級超高畫質影片，併為所有主流影音裝置廠商提供了超高畫質認證服務，覆蓋了包括11個手機品牌、8個電視機品牌、2個投影儀品牌，以及多家省市運營商機頂盒，把上千款裝置螢幕的顯示誤差校準到行業領先水平，為超1億的使用者帶去了名副其實的超高畫質觀影體驗。

優酷自由視角是可以讓使用者在動態過程中實現360度自由觀看，特別適合體育比賽、綜藝表演等場景使用。優酷曾在CBA、CUBA直播、《這！就是街舞》、北京冬奧會上使用這種技術。普通使用者不用特殊裝備，可用手指滑動手機螢幕從任意角度觀看全部細節，體驗到前所未有的“觀看自由”。

提供這些應用體驗的背後，是一系列非常複雜的技術，其中最核心、最基礎的技術之一，就是影片編解碼技術。據測算，自優酷上線Ali266以來，在位元速率上，同等畫面清晰度的情況下比原H.265/HEVC方案位元速率最高節省40% ；在體驗上，卡頓率降低50% ，平均解碼耗時在8ms左右，穩定性超過99.95% ；在功耗上，滿電可H.266軟解播放10小時；在內容上，覆蓋了優酷高畫質、超高畫質等多種影片型別和綜藝、賽事、影視劇等多種內容題材。

Ali266在安防監控領域的應用展望

Ali266除了在娛樂影片應用可能外，在安防監控領域也有巨大的應用空間。安防監控是超高畫質影片技術的發力點，整個安防監控解決方案中包含的子系統都需要透過前端高畫質成像才能實現功能的發揮和協同。超高畫質影片技術使影片監控影像更清晰。

作為安防監控主要的影片採集端側裝置，攝像機的採集解析度越來越高，從200萬到800萬再到3200萬畫素，各類媒體播放及超高分影片伺服器輸出的影片源畫素也已達到8K甚至更高階別，眾多螢幕廠商推出了4K/8K的超高畫質顯示裝置，安防行業逐步進入超高畫質時代，從而帶動整個超高畫質產業鏈的發展。

安防監控領域的超高畫質產業發展，對影片編解碼的應用不僅需要實現高效的影片壓縮效率，同時需要兼顧高畫質畫質與超低編解碼及傳輸延遲。

此外，隨著安防監控領域多視角立體防控的需要，超高畫質影片監控+AI在智慧交通上的應用，多目、多視角影片匯聚的全景拼接攝像機得到越來越大規模的落地應用，多攝像頭聯動方案逐漸普及和落地，對多視點編碼技術提出了越來越廣泛的需求。

05 未來：不斷進化的Ali266商用之路

Ali266代表了業界最先進的軟體編解碼實現，並有力推動了最新編解碼技術的商業落地實踐。但是，整個影片生態的開啟，還同時取決於相關晶片、終端裝置的發展情況。

據瞭解，在編解碼晶片上，聯發科在2021年下半年釋出了全球首款7nm工藝製程打造的電視SoC晶片，Pentonic 2000，也是世界首批支援 H.266/VVC影片解碼的晶片，具有8K/120Hz的解碼能力。這對於完善H.266的生態，是個巨大的助力。

另外在市場需求的驅動下，4K電視市場滲透率不斷提高，國內市場滲透率超70%；8K電視成為電視機廠商的標配產品。據機構預測，未來，中國8K電視市場滲透率有望從目前的不到0.5%升至2025年的7%。

據悉，創維電視已在其官網公佈了電視A63支援H.266/VVC，其他裝置廠商也即將在其最新的產品中廣泛支援H.266/VVC這一最新的影片編碼標準。DVB 聯盟釋出了超高畫質 4K 和 8K 廣播規範的修訂版，包括下一代 H.266/VVC 編解碼器。在 H.265/HEVC 之後，下一代 H.266/VVC 編解碼器也已進入 DVB 超高畫質 8K 廣播規範，為8K流媒體打下基礎。