《青春有你3》的zi彈時間舞臺,凝築了自由視角技術進化史

naojiti發表於2021-03-21

2021年,內娛選秀綜藝的競爭愈發激烈了。

要讓追綜多年的“秀粉”們有驚豔和驚喜感,光靠練習生們的顏值及業務能力已經不夠,為了激起火花,透過刻意剪輯、選手“互相扯頭花”等為上熱搜而打造噱頭的情況也並不少見。

與這些“騷操作”相比,或許流媒體平臺們更需要問自己一個問題:在綜藝娛樂節目中,觀眾還有哪些尚未被滿足的需求?

以我自己為例,最近就因為《青春有你3》剛剛上線的z彈時間被吸引“入坑”了。

作為一個老“綜藝鵝”,我可以120°視角自主操控觀看角度,而不是隻能透過節目組設定好的某一個角度來欣賞“時間凝固”效果,自由度更高,能夠全方位展示選手的業務能力,讓秀粉們解鎖專屬快樂。

另外,《青春有你3》這次的“z彈時間”對裝置的要求也沒那麼苛刻。我用的是非頂配效能的老款手機,互動體驗依然絲滑,高畫質畫面的載入也沒有明顯延遲。看完之後我想說:內娛還是有點東西的。

黑科技應用頻在綜藝節目中比重越來越大,會是接下來流媒體平臺的“流量密碼”嗎?

綜藝新秀自由視角,是如何一步步進化的?

隨著4K及8K解析度影片的逐漸推廣,平面影片體驗幾乎已經達到了發展的極限。更高自由度、能給使用者提供更多資訊的互動式流媒體技術自然也就引發了更多關注。

其中應用最早、最為大眾熟悉的互動技術之一,就是z彈時間。

z彈時間依託於一種全新的3D影片製作技術——自由視角影片。在《駭客帝國》電影當中,特效團隊在攝影棚內圓弧形架設了120臺攝像機,每臺攝影機間隔1秒依序拍攝,再透過特效後製,就能為觀眾展現出全方位環繞、時間停滯一般的“上帝視角”。

不過,此前的z彈時間應用只能算是自由視角技術的初級形態,拍攝的是時間靜止時的畫面,觀眾能看到什麼是由最終剪輯來決定的,依然無法主動獲取任意視角下播放畫面。

在此基礎上,以6DoF(Six degrees of freedom)為目標,實現全新互動式體驗的“自由視角”應用就出現了。

這種新形式可以拍攝程式中任意時間的360度畫面。具體方式一般是在體育比賽場館或綜藝錄製現場架設高畫質相機,透過點雲重建並在虛擬場景中將各個角度的2D影片拼成全景影片,渲染出360度的視覺效果。使用者可以滑動、旋轉手機螢幕來自由選擇被拍攝物件運動中的任意視角。

不過,由於自由視角的技術條件要求高,需要攝像機陣列以毫秒級同步拍攝選手狀態,在硬體部署、影片壓縮、渲染等方面都帶來了挑戰,因此在實際落地中,節目製作方一般需要在操作自由度與畫面資訊維度之間做出取捨,比如減少攝像機數量、再利用AI插幀的方式來彌補體驗不足。

而這次《青春有你3》中上線的“z彈時間”,則是對自由視角落地方案的進一步升級。

愛奇藝技術產品團隊運用幾十個高解析度的攝像頭從多個角度捕捉被拍攝物體和場景,還原出三維空間中的場景。再借由獨有的編解碼、播放技術方案,緩解網速導致的超高畫質影片載入速度過慢這一痛點,既能保證高畫質畫質,並且對終端裝置的效能要求大幅下降,讓更多人可以低門檻地感受到高自由度觀看的魅力。

在技術驅動的時代大幕中,科技手段也成為流媒體產業逃離同質化窠臼的利器。海外有Netflix利用AI演算法提升個性化推薦效果的案例,國內則有愛奇藝這樣不斷探索高自由度互動式體驗的典範。這種嘗試,也讓愛奇藝又一次在娛樂公司中立穩了“技術人設”。

穿透體驗困境:愛奇藝的技術“雙叉戟”

對於一項新技術來說,所覆蓋的觀眾廣度與普及效率顯然是首要任務。但長期以來,自由視角技術都存在兩個基礎難題:

一是影片高解析度與自由度之間的矛盾。影片解析度從1080p到4K等不斷提升,要實現大角度、高自由度的互動效果,只有效能很高的手機能實現解碼支援,流暢地進行播放。

二是網路傳輸與流暢度之間的矛盾。高畫質且高自由度的影片整體資料傳輸量高,對頻寬的需求很大,網路環境不夠理想的觀眾,觀看高自由度影片的體驗會受影響。

那麼,平價機型也能玩轉的《青春有你3》自由視角,又是怎麼實現的呢?

這次,愛奇藝也祭出了流媒體技術和資料載入解決方案的“雙叉戟”:

一方面,透過編解碼技術,實現了時空雙路徑編碼影片流、多路解碼器並行解碼。具體來說就是可以按時間、空間兩個維度對影片進行解碼,時間維度碼流可以讓使用者在切換觀看視角時穩定載入,空間維度碼流則在靜止場中保證穩定精細化的旋轉效果。此外,愛奇藝還透過專利技術建構了多路CPU/GPU複合解碼器架構,可以自適應多路碼流來進行動態解碼,隨著使用者的實時視角旋轉來切換解碼區域。然後藉助超低延遲的渲染互動技術,在使用者轉動視角時直接“通知”渲染引擎實時更新畫面。

這一套“組合拳”下來,普通終端也能體驗到流暢、高畫質的高自由度影片。

針對網路問題,愛奇藝則使用了創新的“主流+底流”資料載入方案。在觀看高自由度影片時,透過“主流+底流”傳輸可以將資料連續、實時地傳送到終端,大幅提高傳輸效率,縮短了互動延時,使用者可以流暢地進行播放和切換。同時實現了GOP級視角資料的切換與載入。

憑藉技術創新,更廣泛受眾玩轉自由視角的體驗障礙,就這樣被愛奇藝一一拔除了。

自由視角的產業進行時:用連鎖反應重構產業鏈條

如果自由視角技術只能應用在一部或幾部作品中,必然無法降低平臺的製作成本,也很難說徹底變革大眾的觀看習慣。

能夠讓自由視角技術真正普及的前提,是去掉規模化應用的限制,提升技術的落地效率,才能讓更多綜藝、劇集的觀眾快速感受到新互動體驗的魅力所在。

愛奇藝在《青春有你3》中除了技術落地之外,也對背後的影片生產與製作環節進行了改造。

首先,針對自由視角影片前期硬體投入高,傳統演算法效率低,製作風險較大的痛點,打造了一系列系統級工具,以期實現高自由度影片的智慧化拍攝。

比如愛奇藝打造了一套自由視角下的虛擬環境拍攝系統,能夠基於三維渲染技術,渲染出一套和真實場景及尺寸一致的虛擬場景。製作方可以精確部署虛擬相機陣列,模擬真實相機拍攝素材,低成本、高效率地設計出自由視角拍攝相機陣列的部署方案,降低z彈時間、點雲、自由視點等多種影片的製作風險。

在實際拍攝過程中,愛奇藝也透過自研的一套相機陣列智慧調節系統將每臺相機進行引數標定,對它們進行統一調節,將繁雜的部署工作時間大大縮短。

針對視角切換中可能出現的畫面抖動,愛奇藝還設計了一套畫面穩定演算法系統,可以在影片拍攝完成後,在後臺對素材自動進行穩定處理,不用後期製作人員再費時費力地手動調節,效果也大大提升。

在後期的影片製作中,愛奇藝則將攝像機的控制、基於模板的自由視角影片編輯與創作、自由視角影片的匯出與回放等功能整合在一起,輸出成了自由視角影片創作中控系統的整套整合方案。

編導可以基於預先設計好的模板,進行現場快捷創作,例如曲線模板編輯,對當前錄製場景所產生的實際效果的效果預覽。

創作好的自由視角影片,可輸出到現場導播切換臺、外部監視器及現場大屏等裝置上,方便製作團隊及時調整、查漏補缺。

和所有新興技術一樣,自由視角因為投入大、成本高、拍攝製作週期長,令內容生產者望而卻步。但現在,愛奇藝的一系列生產工具前所未有地提升了高自由度影片的產業效率,讓創作者可以低門檻地使用這一技術來建立內容差異化優勢。

也就是說,愛奇藝已經在高自由度影片所需要的流媒體技術、基礎演算法、硬體協同、場景適配、生產製作等關鍵環節上,都有了技術沉澱,可能引發的連鎖反應將是革命性的,也讓我們看到了流媒體產業的進化方向。

解優質內容之渴,愛奇藝的技術革命

近年來,自由視角、VR、AR等技術在流媒體產業出現的越來越高頻。為什麼平臺們不惜重金,也要在黑科技領域“整活”?

當平面影片已經趨近極限的時候,佔據極高比例的年輕觀眾對多樣化、個性化的追求,也給內容的差異化創新帶來了挑戰。像 zi時間、自由視角這樣的高自由度影片,能夠打破平面觀看的束縛,給使用者體驗帶來質的提升,自然也就成為“兵家必爭之地”。

在此基礎上,愛奇藝選擇更進一步,在更上游的生產側進行改造,不僅能夠有效降低高自由度影片的製作門檻與成本,進入良性迴圈;而且率先建立起了行業標準和模板,開啟一場內容產業的人才與創意爭奪戰。

這絕對是一件利在當下、功在未來的事。

2021年,是內地綜藝娛樂進入存量競爭的一年,也是內容消費開始迴歸價值和收穫感的一年。遠離低質、同質化、缺乏誠意的節目和作品,已經成為觀眾們迫切且一致的呼喚。

從這一點上看,愛奇藝《青春有你3》上線zi彈時間,也開啟了一扇充滿驚喜的大門,包含著高自由度影片互動體驗席捲而來的無限想象。

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31561483/viewspace-2764073/,如需轉載,請註明出處,否則將追究法律責任。

相關文章