阿里雲視訊雲互動虛擬技術,打造虛擬直播最佳沉浸式體驗

阿里雲視訊雲發表於2022-04-26

2022是“體育超級大年”,冬奧會、亞運會、大運會、世界盃等各類大型體育賽事貫穿全年。由於受到疫情管控和物理空間的限制,賽事直播至關重要,觀眾體驗需求也在不斷升級。

於此,企業對直播服務要求越來越高,視訊直播技術創新顯得格外關鍵。隨之而來,如何利用直播技術降低線下部署導播臺的成本、如何提供靈活及場景化的能力、如何確保線上內容傳輸安全穩定,成為許多直播類企業客戶的關注點。

為了帶來更好的直播體驗,阿里雲對視訊直播產品進行重磅升級,打造一站式沉浸體驗的雲上虛擬直播間服務。

基於邊緣推流、窄帶高清轉碼、雲上導播、全域邊緣節點分發等技術能力,通過全鏈路災備與應急預案等保障手段,提供高可靠、高品質、低延時的直播服務,為大型賽事與活動提供保駕護航的能力。並在此基礎上,聚焦打造雲端一體化的虛擬演播廳能力,為觀眾端塑造沉浸式直播體驗。

1臺電腦+2部手機:開啟虛擬直播間

阿里雲視訊雲的雲端互動虛擬演播廳,提供了行業首創全鏈路雲端實景摳像與虛擬背景合成能力,實現實時互動+導播的完整方案,通過手機APP,即可簡單開播,讓使用門檻大幅降低,為遠端採訪、異地互動、虛擬實時製作等場景,打造富有沉浸感的、達到廣電級的演播體驗。

image.png

全新演算法引擎,隨時隨地異地互動開播

目前,演播廳常用的摳圖技術大多與綠幕摳圖相關。但綠幕摳圖存在幾個弊端:首先要專門搭建綠幕演播廳或者是綠幕裝置,應用場景受限;同時,為了保證綠幕摳圖的最佳效果,還需要加裝燈光裝置進行除錯,甚至需要有拍攝經驗的操作者進行提前的佈景。

阿里雲視訊雲利用AI技術創新對虛擬演播廳的技術方案進行了全面的升級,首次採用了實景預設背景摳像、多機位切換+實時摳像、最高6路摳像源+摳像合成處理等技術方案。從而,通過雲端的多路實時實景摳像、虛擬背景生成與實時動態渲染技術,有效解決了主播與嘉賓不在同一空間,以及現場環境受限無法進行專業演播的痛點,將身處在不同地方的人合成到任意演播廳,即便身處千里之外,也能透過虛擬演播技術,體驗沉浸於同一空間的互動感。

廣電級水準的精細、穩定、專業

為了對標廣電級別的節目規格,阿里雲視訊雲技術團隊嘗試了多種演算法以及工程模型,解決了實景扣像邊緣粗糙、抖動等問題,摳像效果精細到人物真實細膩的效果,大大提升實景摳像的效果,也促進了產品的可應用性,打破了行業實景摳像的壁壘。

同時,也提升了超長時間直播的穩定效能,包括超長時間連麥的穩定性、摳像的穩定性、音視訊互動、APP效能、全方位的滿足異地多人多場景以及超長時間的連麥和直播需求。在各種採訪環境不可控的雜亂背景下,阿里雲虛擬演播廳技術均可以處理實現最佳的成像效果,摳像效果精細到髮絲。

不僅如此,對於複雜的多場景,比如單人切換、雙人遠景切換、近景直播中插入電片廣告等,實現了無線無縫的切換,真正的達到了廣電級級別的節目製作水準及行業領先的水平。

打通RTC與GRTN,真正實現實時互動演播

除此之外,阿里雲還打通了音視訊通訊RTC以及全球音視訊實時傳輸網路GRTN,將多機位、多視角同步直播的技術能力與RTC實時連麥、異地開播等能力進行結合,為使用者提供了簡單穩定的連線功能,真正地實現了互動虛擬演播的能力。

目前,阿里雲導播臺支援最多12路的輸入源,同時六路的摳像合成,支援自定義的背景圖,支援對於摳像物件的位置和大小直接進行拖拽設定,支援只保留音訊的監聽模式,支援佈局圖層順序調整,只需要通過簡單的兩三步配置即可完成快速開播。

首家“端雲無縫銜接”的導播平臺

虛擬演播廳也提供了多種產品使用方案。在阿里雲登入直播控制檯,即可以開箱即用視覺化的配置和開播,可以實時的製作播出監看,調整直播內容。

本地與線上一鍵同步,無需開發介入,適合各種運營和業務團隊的使用。此外,還可以基於完善的API服務,按需呼叫封裝自己的直播業務系統。雲導播還提供了帶有控制檯前端頁面的完整WebSDK,可以直接巢狀整合,節省開發成本,幫助提供整套直播解決方案。

通過互動虛擬演播廳採訪任務,僅需要兩部手機加一臺電腦,即可以隨時隨地的展開直播與轉播,同時也讓觀眾們可以在第一時間體驗到了更具有沉浸感的播報視感。

專業直播重保:讓直播服務更穩

隨著直播使用者增長,各平臺都開始精細化運營,而保證百萬量級以上併發直播活動的高可靠、高品質是各直播平臺急需解決的問題。

阿里雲擁有遍佈全球2800+CDN節點,150+T頻寬,9大直播中心,支援海外業務無縫佈局,通過阿里雲搭建的全球實時音視訊通訊網(GRTN),全世界各地的直播流可實現就近接入,通過高速通道快速傳輸至指定直播中心進行內容分發。

阿里雲直播重保方案包含全鏈路穩定方案、全鏈路防盜鏈方案、千萬級併發排程方案、全鏈路監控方案、全量鏈路監控方案。

截圖2022-04-24 上午10.48.33 (2).png

對於一個重要的直播活動,為了保證推流或源站的高可用穩定,推薦使用兩個推流端,分兩路推到直播中心並做一次合成,合成之後再進行處理轉碼及分發,避免推流端的單點風險以及推流網路單點風險。

視訊直播支援訪問控制,如Refer UA黑白名單、IP黑白名單等,雖可做到基礎防護,但是偽造也比較容易,而該加密方法擁有獨立加密金鑰,避免單一金鑰洩密引起大範圍的安全問題,支援加密轉碼+解密播放,動態金鑰管理更安全地保護視訊資源,可有效防止視訊洩露和盜鏈問題,實現大型賽事直播版權視訊內容搬運侵權的取證、溯源和追責。

對於千萬級併發的直播頻寬抖動是非常大的。以往年世界盃直播為例,上下半場之間有中場休息時間,畫面比較簡單,通過阿里雲的窄帶高清技術在進行傳輸時頻寬只有峰值的三分之一或四分之一,當下半場開始時,大量使用者快速湧入直播間,頻寬瞬間回到峰值。短短一分鐘內,頻寬增長几個T或十幾個T。

這樣場景下的排程風險是非常大的。如何來規避這個風險呢?排程方式有三種:DNS排程、302排程,HTTPDNS排程。綜合起來最好的是HTTPDNS排程,它反應速度非常快,而且也不存在那個首屏的影響,需要客戶端這些做一些接入。同時,阿里雲還會提前智慧預測需要頻寬趨勢,提前分配好資源,做好大型活動賽事優先順序保障,能夠非常有效的防止T級頻寬突發帶來的風險。

截圖2022-04-24 上午10.51.07 (2).png

在直播護航過程中,專人在後臺提供全程服務保障以及全鏈路服務監控,從推流開始到最終播放的整個鏈路的情況,包括幀率、位元速率以及全網頻寬壓力情況。針對特別重大活動,阿里雲還會定製類似右側的大屏,對於每一路直播流,都會用紅綠燈的方式顯示通斷情況,便於迅速發現哪一路流出現了問題,也可以具體觀看幀率、位元速率以及線上的使用者數。

為了看到視訊直播資料資訊,阿里雲提供了廣目系統,該把客戶直播的幾路直播,無論是原始流,還是轉碼流,合併成一路監控流進行監控。整個監控可以分成四屏、八屏或十二屏來實現一個盯屏畫面。如果幀率抖動,位元速率異常,以及音視訊的同步異常,或卡頓這種情況出現的時候,會進行實時報警。

阿里雲直播重保方案,提供全鏈路的安全穩定保障,提供高質量的直播服務,讓直播更流暢、賽事更精彩、活動更安全。

直播服務再升級:大型賽事實力驗證

阿里雲視訊直播服務,依託遍佈全球的2800多個CDN節點以及150+TB商用頻寬能力,低延遲、高併發,保證賽事畫面從源頭穩定分發到終端;基於自研的窄帶高清轉碼技術,降低傳輸位元速率,節省頻寬,實現直播更高清、更流暢;同時,端到端、場景化的優勢,可滿足不同場景下的需求,極大降低企業開發門檻,助力業務快速上線。

近期的產品升級釋出會,展示了阿里雲視訊直播所重磅升級的兩大能力:虛擬直播間服務與直播重保服務,不僅提供了行業首創全鏈路雲端實景摳像與虛擬背景合成能力,也通過全鏈路災備與應急預案等保障手段,為重要活動、體育賽事、演唱會等大型線上直播場景提供高可靠、高品質、低延時的直播服務。

從去年至今,阿里雲的互動虛擬演播廳方案已被廣泛應用到國內各類賽事活動直播中,在東京奧運會奧運村現場,身處東京的阿里雲國際體育事業部代表便曾通過阿里雲視訊雲的虛擬演播廳、實時字幕等能力,與身處馬來西亞、美國、中國等多地的合作伙伴完成了直播連線及雲簽約儀式。

而在2022年的北京冬奧會上,“虛擬演播廳”在CGTN在北京冬奧會的記者連線報導中充分應用,全程助力媒體實現全鏈路的製播上雲,為傳統新聞節目製作創造了全新場景,打造了奧運賽事報導的沉浸式體驗。

https://www.youku.com/video/X...
東京奧運會虛擬演播廳

能力升級後的一站式虛擬直播,技術更具前瞻性,效果更為精細化,互動更享沉浸感,場景更具豐富性。阿里雲基於各類頂級賽事和重大活動的直播業務驗證,沉澱了深厚的活動賽事直播重保經驗,以靈活易用的虛擬直播間和穩定可靠的深度保障,不斷創新行業應用場景,為客戶創造新的價值空間。

「視訊雲技術」你最值得關注的音視訊技術公眾號,每週推送來自阿里雲一線的實踐技術文章,在這裡與音視訊領域一流工程師交流切磋。公眾號後臺回覆【技術】可加入阿里雲視訊雲產品技術交流群,和業內大咖一起探討音視訊技術,獲取更多行業最新資訊。

相關文章