解鎖視訊編碼的前世今生:流媒體產業的隱藏劇情
這個初夏最火的造型是什麼?不少人可能會脫口而出——“淡黃的長裙,蓬鬆的頭髮。。。”
就連我這個上古時期的老年人,都開始每週四和週六準時點開愛奇藝首頁,吸一口青春美少女們。原因無他,後疫情灰色時期,還有什麼能比漂亮小姐姐的燦爛笑容更能讓人感覺到人間值得呢?而我上一次真情實感追完的的女團選秀,可能要追溯到……《超級女聲》。
不管自己pick的姐姐妹妹能不能順利出道,至少今天在螢幕上欣賞她們的顏,絕對是一件超幸福的事兒。既不用忍受電視的“馬賽克畫質”,還能隨時隨地掏出手機來欣賞妹妹們今日份的可愛。
不知道大家有沒有同一種快樂,那就是用4G網路看藍光1080P,已經沒有“流量焦慮”了,出現緩衝旋轉“小菊花”的情況的機率也在悄然減少。這種觀看體驗的優化,除了通訊網路環境的改變之外,締造這種視覺快樂的一項關鍵技術——視訊編碼,就像是宇宙中的暗物質——鮮為人知,但十分重要。
簡單來說,視訊編碼技術的升級,能夠讓你用更少的流量、更低的頻寬、更快的速度,看更高清晰度的視訊畫面。比如《青春有你2》溢位螢幕的元氣少女感,是不是比2005年的朦朧美更令人心動呢?
習慣了1080P高清的使用者,絕對不願意再回到480P的自動馬賽克時代了。那麼,視訊編碼到底在高清視訊的烹製中,發揮了怎樣神奇的化學反應?搞秀之餘,不妨來了解一下視訊編碼的前世今生,看看無數科技巨頭如何圍繞它撕得花紅柳綠。
巨頭們爭相“入股”,視訊編碼標準有何誘人之處?
思科、微軟、蘋果、谷歌、奈飛、愛奇藝等這些大名鼎鼎的巨頭,為什麼都覺得視訊編碼技術這波“入股不虧”,非要pick助其出道?
回答這個問題之前,有必要先簡單解釋一下,視訊編碼技術究竟是幹什麼的?簡單來說,就是將視訊壓縮成一定的格式,去除掉其中的空間冗餘和時間冗餘,形成更適合儲存和傳輸的碼流。之所以需要被編碼壓縮,最主要原因就是原始視訊的資料量過於龐大。高清視訊檔案往往高達1G以上,如果本地播放也就算了,一旦需要將其上傳、分享給他人,傳輸網路和儲存裝置都扛不住那麼巨大的資料量。
所以視訊平臺就需要對所播放的檔案進行重構,通過壓縮編碼將資料量變小,以方便傳輸;再依靠解壓縮在使用者端解碼,將視訊影像還原出來。簡單總結就是,編碼效率決定了你的手機能下載多少部高清視訊。
如果你經歷過一晚上不關機終於下好一部2G大小的視訊,卻發現播放器彈出一行大字——“該視訊無法播放”的絕望,那一定會鼓掌歡迎編解碼技術的更新。
當然,一些“有流量任性”的小夥伴也會選擇直接用4G網路線上觀看視訊,這時候視訊大小可就沒什麼影響了吧?這麼想可就太天真了。視訊編碼技術越強,傳輸需要佔用的頻寬也就更小,就像堤壩沒有加固,但衝擊河道的流水變小了,自然也就不會出現出水口淤塞的問題,看視訊卡頓、掉幀的事故也就不會上演了。
比如此次疫情期間,網路流量比例不斷增加,為網際網路服務商帶來極大的挑戰,傳統的解決方案就是在網路頻寬有限的前提下,降低視訊的清晰度。如,YouTube、亞馬遜旗下Prime Video、Netflix等一眾網際網路視訊提供商都在歐洲、印度、澳大利亞等國家降低了視訊畫質,使用者只能預設收看標清視訊。
可是,吃慣了高清這盤珍饈,哪個使用者還願意忍受低畫質的粗茶淡飯呢?為了留住挑剔的內容食客們,平臺們不得不想盡辦法,提升對視訊的烹飪技藝。
那麼,讓我們得以隨時隨地追劇追綜的視訊編解碼技術,到底有哪些呢?
目前,國際上主要有幾種主流的視訊編解碼標準(國際上音視訊編碼技術的標準化),包括VPx(VP8,VP9),H.26x(H.264,H.265),AVS(AVS1,AVS2),AVx(AV1)等等。視訊平臺們用某一種通用編碼格式標準,自己開發編碼器,就可以用更厲害的標準批量生產視訊了。
這些標準都是什麼?到底哪個更厲害?為什麼每個字元我都認識但完全不知道是幹什麼的?甚至還有種被張含韻張韶涵張涵予張予曦張馨予等支配的恐懼,傻傻分不清楚……別急,其實就算是流媒體從業者,也很少有人將它們搞清楚。其實吧,只需要瞭解三個關鍵點,你就能輕鬆變成“技術派”碾壓不少業內人士了。
簡單來說,不同的視訊編碼標準,就是圍繞三個要素所展開的“量子糾纏”:
要素一:高清
上世紀90年代,第一代視訊編碼標準H.261和MPEG-1就開始出現,其後幾乎每十年就有一次迭代更新。
啟動視訊編碼技術不斷演進的核心要素,還是人們對於高清、更高清的不斷追求。視訊編碼技術每進化一代,視訊壓縮效率都至少提高了一倍。比如十幾年前第二代視訊編碼標準VP8 和 H.264,只能應用在低於HD的中小解析度視訊上,稍微兼顧一點1080P解析度。而2012年愛立信公司推出了首款H.265編解碼器,所引領的第三代視訊編碼HEVC標準就只需H.264一半頻寬,即可播放相同質量的視訊。
啥意思的?如果你是一個擁有過MP4裝置的網際網路早期弄潮兒,同樣大的儲存空間,你可以多下載一倍大小的視訊,告別四處借硬碟的苦日子。
線上看視訊則更爽了,基於編解碼標準,智慧手機、平板等移動裝置也能夠直接線上播放 1080P 的全高清視訊,還支援4K 和 8K 超高清。也就是說,只要有內容方願意生產8K視訊,平臺就能給你100%還原出畫面來,而不用受最高清晰度720P這樣的限制。
那麼,為什麼HEVC標準推出2年後,採用AV1格式的消費類裝置又開始出現呢?因為移動網際網路的爆發,原有的編碼標準依然不能完全解決頻寬消耗的問題。所以更高效的視訊編碼標準如AVS3、H.266等,也都相繼被研發人員安排上了。
為什麼視訊平臺關於編碼標準的“牆頭”這麼多?
試想一下,如果你用的是一個高解析度配置的智慧手機,但視訊只能到480P的清晰度,為硬體高配置花的錢不就白瞎了嗎?有的使用者為了防止觀看卡頓或模糊,還得額外下一個完美解碼、格式工廠之類的第三方解碼器,將視訊轉化一下才能看。
而只要視訊平臺支援更高效率的編解碼標準,就能實現低頻寬下播放高清視訊不卡頓的效果。有現炒的熱菜,誰還願意等打包的盒飯呢?所以細心的讀者會發現,編碼技術的不斷升級,開始讓第三方編碼工具悄悄退出了追劇黨的工具箱。
要素二:專利
儘管使用者體驗是視訊編碼技術的首要進化原則,但專利所帶來的限制與成本,也成為產業風雲迭起的重要誘因。
由GE、Technicolor、杜比,飛利浦和三菱等組建的H.265專利聯盟HEVC Advance,就向使用該標準的廠商收取專利費。
因此,不少開源標準逐漸崛起。其中谷歌打造的VP9標準就是最負盛名的一個。不僅在實際效率上與HEVC/H.265接近,大大優於H.264及它的前身VP8,而且可以對專利免費使用。很快,YouTube全面支援VP9超高清流媒體節目,Netflix、蘋果等也加入其中。
當年,愛奇藝的《破冰行動》無疑是熱度最高的"爆款劇"之一,一度引起風靡,高清流暢的畫面質感為其加分增色不少,就採用了基於VP9標準開發的全新編碼器,就採用了基於VP9標準開發的全新編碼器面部細節等方面畫面真實感尤為顯著。
而我國自主智慧財產權的第二代信源編碼標準AVS的出現,更與專利有著不解之緣。
大家的童年有沒有出現過DVD這種物件,租一部劇不用等更新一個週末看完的快樂,不亞於今天購買視訊平臺尊貴的“VIP中P”會員。但中國的DVD行業曾經也遇到過一次嚴重的專利危機。
2002年,一批出口的DVD產品因為技術專利費的繳納問題沒有解決而被扣押。於是同年6月,數字音視訊編解碼技術標準工作組成立,2006年,第一代視訊編碼標準AVS1推出,壓縮效率和H.264相當,並且每個編解碼器只象徵性得收取1元專利費,對網際網路上的軟體服務更是免收專利費,從此擺脫了只能使用國際標準、被高額專利費卡脖子的窘境。
可以說,目前主流的兩大標準VP9和AVS,都是在專利的鎖鏈中生長出來的自由之翼。
要素三:壟斷
既然VP9已經開源了,那就抱緊谷歌大腿等大佬迭代再應用不就好了嗎?一個國家的大部分視訊都坐落在某一個標準體系上,等於將標準的議價權交到了別人手中,面對這種“壟斷優勢”,谷歌表示,我瘋起來可能連自己都打,為了不作惡還是趕緊給自己培養個對手吧……
所以2015年,一個由谷歌倡議並參與,試圖替代VP9和HEVC/H.265的新標準組織成立了,那就是開放媒體聯盟Alliance for Open Media(AOM)。這個新的開源標準很快吸引了Adobe、亞馬遜、AMD、奈飛、Facebook、思科、蘋果、英特爾、英偉達等等巨頭的參與。中國的愛奇藝也率先加入了AOM聯盟。
這個由30多家領先的高科技公司組成的會員制聯盟,很快開發出了新一代開源的視訊編碼標準AV1(AOMedia Video Codec 1.0),也就是今天能讓我們看到高清版《青春有你2》,特別是選秀舞臺上的說唱、勁舞的畫面更加清晰平滑的“後臺”。
AV1之所以在產業端迅速上馬,成為奈飛、YouTube、BBC、愛奇藝等一眾平臺的推行目標,主要就是在使用者體驗上太能打了。
更高的編碼效率、更低的位元速率,同等質量可以節省20%以上的頻寬。舉個例子,就是下載整期1080P版《青春有你2》,原本需要10G的手機儲存,而AV1標準下只需要8G就能搞定,剩下2G空間我們們存點PLMM(漂亮妹妹)的高清大圖舔顏它不香嗎?
線上觀看也很爽,不僅妹妹們的臉看起來會更清晰,而且高清播放所佔的頻寬也更小,同時下載個東西、刷個微博啥的,也不會因為網路擁擠而卡頓。
作為視訊觀眾,誰不願意平臺默默地為我們殫精竭慮,周全每一點流量、頻寬和儲存卡呢?
不難看出,視訊編碼標準迭代,既是技術天花板的層層上探,也是整個視訊平臺必須攻佔的體驗高地。
搶跑編碼標準賽道:中國視訊平臺的體驗蝶變
具體到中國視訊平臺上,關於編碼標準目前競爭身位如何,未來還有哪些硬仗要打,都是值得我們重點關注的話題。我們不妨具體到某一個平臺的探索經歷之中,用歷史觀的視角來捋一捋,視訊編碼技術到底給中國這片土地的網民,帶來了哪些體驗上的蝶變。
通過調研發現,2016年愛奇藝在萬能播放器上線了AVS2格式,是當時國內唯一支援這一標準的平臺;也是國內第一個實現VP9標準、AV1標準並應用的視訊廠商。可以說在編碼標準領域,無論是技術領先度、佈局完善度上,都能夠從一定程度代表中國流媒體產業的關鍵抉擇。
愛奇藝的標準探索之旅,又是如何的呢?我們不妨將其拆解成三個部分:
1.技術探索。
有了標準,是不是隻需要拿來直接上手呢?答案顯然是否定的。
我們就以當前效率最高的AV1標準為例,其演算法運算複雜度高,所需要的編碼時間很長,這樣把平臺所有視訊都處理一遍,可能會等來使用者一句“奶奶你等的AV1格式上線了”!
所以,為了提高編碼效率,讓處理效果能夠快速細緻,又不影響編碼質量,達到工業應用標準,標準編碼器就要靠各個平臺發揮自主能動性了。
拿愛奇藝來說,對每一代開源技術都保持緊密跟進的同時,也會發揮自身的技術特長來進行鍼對性的迭代,讓同一標準在愛奇藝平臺上的應用有更優秀的表現。
比如VP9標準推出時,愛奇藝的技術團隊就根據開源的版本VP9編碼器進行了專門的演算法優化,所開發的QVP9編碼器的速率是開源版本的5.4倍左右。作為國內首家支援VP9的視訊廠商,其畫面質量在快速鏡頭、輪廓邊緣、面部細節等方面真實感尤為顯著,壓縮效率比市面主流的標準更是提升了一倍。可能也是在不知不覺間,突然發現視訊中那些高速打鬥的場面似乎更加細膩流暢了,人物的皮膚也變得更加立體和容易辨別,連女主角額頭的青春痘都是那麼的昭然若揭……
而伴隨著使用者在移動場景下觀看視訊的訴求越來越高,比如我本人就喜歡在地鐵上刷短視訊,別問,問就是流量多有錢任性!這時候要保證流暢不卡頓,主打PC端的VP9可能就有點不夠了,所以對移動端裝置更友好的AV1,在推出後也很快被愛奇藝安排的明明白白。
獨立研發的QAV1編碼器,不僅比H265減小將近一半的頻寬,節省40%以上位元速率。而且速度比開源編碼器SVT-AV1還快出5倍左右。比如同樣是看《青春有你2》,用QAV1展示的畫面效果更棒、顏值更高,反而還更省頻寬,直接幫助我節省了不少流量,讓滿額限速來的更晚一些。
2.產業聯動
不難發現,即使是VP9、AV1這樣的開放標準,也需要視訊平臺進行再開發。由此帶來的技術難題,也會把一些企業拒之門外。畢竟不是每個內容方都有奈飛和Facebook一樣的規模與技術能力,願意投入較大人力物力去跟進最新標準。
愛奇藝又是如何做到始終扮演著中國視訊編碼技術弄潮兒角色的呢?這與其和全球技術動態和同業者保持同頻進化有直接關係。
我們得知,愛奇藝是AOM的第一個中國成員。通過與谷歌的多次溝通,愛奇藝發現AV1標準確實比預期中效率要高。因為聯盟內部成員有密切的交流,獲取到更早更先進的技術資訊。QAV1對編碼的各個模組都進行了細緻的設計優化,各模組的優化演算法總計近百項。
近日,愛奇藝在電腦瀏覽器端(PC web端)、安卓移動端上線 AV1 視訊編碼格式(Alliance for Open Media Video 1),成為國內首家也是目前唯一一家應用 AV1 的視訊網站。
當然,與VP9的情緣也還在繼續,我們開啟某個視訊,會悄悄犯嘀咕——“怎麼今天偶像看起來更美了”,或許鏡頭裡的TA沒變,只是愛奇藝用VP9重新驚豔了時光。
這種與國際產業脈動同頻共振的能力,也為愛奇藝領先於人佔得先機。
3.應用落地
目前,首批應用 AV1 的電影已經在愛奇藝上線,使用者可以在電腦瀏覽器端和安卓移動端觀看。做到這一步,很難嗎?
答案是肯定的。舉個例子,終端硬體解碼晶片的成熟,與某項標準能否發揮價值有直接關係。比如H.265在硬體支援上比較廣泛,就與蘋果、高通、英特爾等的晶片都支援H.265的硬體解碼器有關。
所以編碼器往往需要結合具體的應用場景來進行改進和深度優化。
以AV1為例,為了更好地適應愛奇藝海量內容,QAV1通過對場景複雜度的預分析,實現了更加合理的位元速率分配。對於簡單場景,QAV1可以自適應地降低位元速率,在保證畫質的情況下節省使用者頻寬;同時對於複雜場景會適當提高位元速率,給使用者帶來更高畫質的體驗。
目前,QAV1已經支援的功能包括多種速度檔次、多種位元速率控制方式、8K視訊編碼等。這種與差異化環境相匹配的細節打磨,同時兼顧了網路頻寬與使用者體驗。
萬眾期待的5G,自然也需要與之匹配的視訊編碼標準來呼應。據我們所知,愛奇藝的AVS3應用已經在路上了,用移動智慧手機看8K超高清視訊、瀏覽VR新聞資訊、與虛擬偶像互動……這些新娛樂體驗,或許都將藉助視訊編碼的技術魔術,被呈現到我們眼前。
從愛奇藝的視訊編碼探索中,不難看到,技術的時代快車並不容易拿到船票的。唯有長期披荊斬棘,才能順利摘得王冠。
乘風逐浪,視訊編解碼究竟意味著什麼?
在這一條極度比拼技術的賽道上,愛奇藝的領先身位是如何形成的?我們認為,原因可能隱藏在三個勝負手之中:
1.技術驅動的基因。
作為一家以科技創新為驅動的娛樂公司,早在2016年,愛奇藝就啟動了技術體驗升級計劃。通過一系列自主科技創新升級視訊使用者的線上體驗。
目前,人工智慧技術已經成為愛奇藝的驅動力,深入到了生產、播放、分發、宣傳等各個環節。具體到編碼標準上,就是通過AI+傳統編碼技術的結合,讓壓縮效率有了更大的改進空間。
2.流媒體專業度。
無論多麼牛的標準,最後決定落地部署進度的永遠是背後支撐的專業型技術人才。
愛奇藝的一個技術細節就引起了我們的關注。在推廣AV1標準時,谷歌其實在中國拜訪了不少視訊平臺,但當時整個業界評測下來,都認為AV1的實際效果與上一代差異不大,對其抱著懷疑的態度,認為暫時不會投入人力物力去做開發。但愛奇藝的技術團隊基於專業、中立的評測工具和方法,做出了公平的對比結果,AV1確實在效率上有明顯的提升。
當技術人員將這一結果做出來之後,愛奇藝內部沒有任何質疑,直接選擇內部開始對其進行研發支援。這也決定了愛奇藝站在了AV1標準更早的起跑線上。
3.成熟的產業能力。
任何技術都需要落地到現實中,在使用者的狂風暴雨中去經受檢驗。尤其是編解碼技術又非常底層,如何將一堆實驗室資料變成剋制可感的實際效果。
早在上線VP9時,愛奇藝內部就對於新標準的上線流程進行了一輪完整的“演練”,從具體的封裝格式、播放端除錯、節目安排、播放方案確定、電腦瀏覽器等終端適配等等,都徹底跑通了。這種標準部署的機動能力,也為AV1的快速上線埋下了伏筆。
至此,視訊編解碼之於流媒體產業,從內容生產、業務流程、使用者體驗、商業模式,產生出一連串的化學反應。
接下來,我們會看到編解碼技術將以更快的方式,融入視訊內容的各個細枝末節中去,變成你我使用者與喜愛的角色和人物“網路一線牽”的那根紅線。
而編解碼標準與視訊平臺的時代情緣,也註定會是一場長相廝守。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31561483/viewspace-2695346/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- PYTHON編碼的前世今生Python
- 計算機字元編碼的前世今生計算機字元
- FFmpeg開發筆記(五十)聊聊幾種流媒體傳輸技術的前世今生筆記
- 新風口還是偽需求?詳解互動劇的前世今生
- Web 上的隱形負擔:視訊編解碼Web
- FMS 流媒體視訊技術
- MySQL 的前世今生MySql
- 遊戲的前世今生遊戲
- Mybatis的前世今生MyBatis
- IPD的前世今生
- RabbitMQ的前世今生MQ
- Serverless 的前世今生Server
- JavaScript的前世今生JavaScript
- WebP 的前世今生Web
- RunLoop的前世今生OOP
- 字元編碼前世今生詳解,從此與“亂碼”說再見!字元
- Omi框架Store體系的前世今生框架
- 軟體下載站的前世今生
- 回顧&展望:防毒軟體的“前世今生”防毒
- 軟體需求說明的前世和今生
- Unicode的前世今生Unicode
- HTTP/2.0的前世今生HTTP
- 元件化的前世今生元件化
- React ref 的前世今生React
- 外掛的前世今生
- Https的前世今生HTTP
- React Portal的前世今生React
- Android的前世今生Android
- React Mixin 的前世今生React
- 網際網路上的流媒體視訊是如何工作? - QuastorAST
- 資料庫的前世今生資料庫
- iOS Device ID 的前世今生iOSdev
- 前端模組化的前世今生前端
- Redux的前世-今生-來世Redux
- HTTP 協議的前世今生HTTP協議
- JavaScript – 非同步的前世今生JavaScript非同步
- JavaScript 包管理的前世今生JavaScript
- 物聯網的前世今生