網易雲信釋出虛擬形象實時互動融合 SDK ,元宇宙大幕即將開啟

網易雲信發表於2021-11-19

元宇宙,火得猝不及防。

短短几個月時間,Minecraft、Roblox 進入了更多人的視野,GREE、英偉達、微軟等陸續釋出相關產品解決方案,韓國、日本還從國家層面宣佈大力佈局元宇宙賽道。《頭號玩家》描繪的情景似乎明天就能成為現實。


(來源:清華大學新媒體研究中心-《2020-2021元宇宙發展研究報告》)

彭博行業研究報告預計元宇宙將在 2024 年達到 8000 億美元市場規模,普華永道預計元宇宙市場規模在 2030 年將達到 1.5 萬億美元。市場潛力無限。

究竟什麼是元宇宙?簡單來說,元宇宙可以理解為平行於現實世界始終線上的虛擬世界。在這個世界中,除了吃飯、睡覺需要在現實中完成,其餘包括工作、社交、娛樂等都可以在虛擬世界中實現。

神祕、未知,曾經只可能出現在夢中的幻境或許在不久的將來就能實現,想想就興奮不已。

然而一個不得不承認的現實是:高擬真度的虛擬世界還沒有建成,人們在虛擬世界的形象還沒有立起來,終端還支撐不起那樣的資料計算量,互動體驗還不夠好……一系列問題等著被攻克,元宇宙的大門還沒有開啟。

元宇宙兩大核心技術:虛擬人和實時互動

正如前文所述,網際網路的終極目標——元宇宙,可以打破人類社會活動的空間與時間的界限。在一個創造的虛擬空間裡,來自世界各地的人們進行著真實的社會活動,社交、商業、娛樂...而其中“虛擬人”和“實時互動”能力是必不可少的兩大核心技術。

虛擬人代表了個體可辨識度的形象和身份,實時互動能力可以實現沉浸式真實的社交活動,最終模糊虛擬和現實的邊界。

元宇宙中虛擬人是指具有數字化外形的虛擬人物,與具備實體的機器人不同,虛擬人依賴顯示裝置存在。一般來說,我們將虛擬人分為兩類:一類是真人可驅動的虛擬人,另一類是具有人工智慧的 AI 智慧虛擬人。

元宇宙是另一個真實的人類社會活動的無限廣闊空間,所以技術上實現真人可驅動的虛擬人是邁入“新世界”的第一步,當然如《失控玩家》裡具有自我意識的 NPC 虛擬人物如果也能在元宇宙中實現,更是讓人無限遐想。

(電影《失控玩家》)

因此元宇宙的虛擬人應具備以下三方面特徵:

一是虛擬人外在形象,擁有人的外觀或者卡通等有趣生動的外貌,具有特定的相貌、性別和性格等人物特徵;
二是虛擬人表達能力,擁有人的行為,具有用語言、面部表情和肢體動作表達的能力;
三是虛擬人感知互動能力,擁有人的思想,具有識別外界環境、並能與人交流互動的能力。

外在、表達、感知,這些我們幾乎每個現實人類都擁有的能力,對技術和裝置的要求其實很高。

首先,愛美之心人皆有之,現實生活中的我離“盛世美顏”還有那麼一小段距離,也許在新的世界裡,我可以擁有“人生如果再來一次”的機會,傾國傾城走向人生巔峰。但是建立一個“美而好”虛擬形象,並不是一件容易的事情。AI 和影像的技術門檻很高,例如 3D 建模,高算力和渲染對裝置效能要求等都是是一個業界難題。

其次,擁有了“沉魚落雁、閉月羞花、傾國傾城”的盛世美顏後,光是一個靜態形象,沒有表情、沒有肢體表達,元宇宙的世界瞬間變成“行屍走肉”的世界。這裡涉及到語音互動(TTS、ASR、NLP 等)、動畫合成(驅動、渲染)等 AI 相關技術,對技術要求的門檻可想而知。

最後,元宇宙對映的是真實人類世界,那麼人類社會活動的基本元素“互動”是構建元宇宙的最關鍵一環,為了還原真實線下的無違和感的互動體驗,需要低延時、高質量的實時通訊服務保障,但是當前複雜多變的公網環境、終端裝置等因素對通訊傳輸是一大挑戰。

為了能夠在“新世界”裡“自由翱翔”,虛擬形象要“美好”,表達要“清楚”,溝通互動要“順暢”……需要解決很多問題,但是目前網際網路廣大使用者還是以移動端手機為主,機型種類等也複雜多樣。因此,不需要外戴裝置,又能解決實現虛擬人互動所需強大算力引起的效能問題,同時在複雜網路環境也能保障實時互動效果的解決方案,是當前最契合實際也是最好切入“元宇宙”的不二之選。

網易雲信,來了!

業界首發虛擬形象實時互動融合 SDK ,邁出進入元宇宙的第一步

針對當前面臨的諸多難題,網易雲信聯合網易伏羲實驗室推出業界首個「虛擬形象+RTC」融合 SDK,並且基於該融合 SDK 形成網易雲信虛擬形象實時互動解決方案。


(網易雲信虛擬形象實時互動解決方案)

該解決方案不僅可以生動還原虛擬人形象,同時結合了網易雲信 WE-CAN(Communications Acceleration Network)實時傳輸能力,可以實現虛擬人實時互動,幫助企業客戶 0 門檻也可實現虛擬形象實時互動場景,邁出元宇宙的第一步。

具體來說,網易雲信虛擬形象實時互動解決方案具備六大優勢:

一、形象:高度還原,極致靈動。

網易雲信虛擬形象實時互動解決方案可以通過攝像頭或上傳的視訊檢測使用者面部表情動作,從而驅動 3D 虛擬人物做出相同表情,包括五官表情、頭部姿態、眼球運動、吐舌頭等均能還原追蹤。

部分傳統的做法為了減少裝置效能要求,往往以犧牲使用者體驗作為代價,例如動畫匹配方式:當使用者進行說話,或者動作行為後,在預設的“表情、動作資料庫”進行幀動畫的匹配,最後對一系列幀進行匹配播放實現虛擬人的“表達”。但是人類的行為是多樣化的、隨機的,不可能對所有行為進行預知預設,可想而知會出現所謂的“面癱”或者“殭屍”。而網易雲信虛擬形象實時互動解決方案採用的是“端上實時捕捉、雲上實時驅動”的方案,相比動畫匹配方案,更真實靈動。

二、硬體:無需穿戴裝置,手機即可實現。

網易雲信虛擬形象實時互動解決方案支援使用普通單目攝像頭進行遷移,無需其他動捕裝置,簡單便捷。只需普通的移動端裝置或者 PC 端裝置安裝網易雲信 SDK 後即可生成並驅動虛擬人,和遠端真人驅動的虛擬人進行實時互動。

三、效能:端-雲協同,千元機也可暢玩。

使用者通過終端裝置(移動端或者 PC 端)進行音視訊採集後,通過網易雲信的 SDK 進行動作模型資料輸出,連同採集到的音視訊資料傳輸到雲端進行虛擬形象重建合成。

通過在雲端進行動捕資料分析建模渲染,網易雲信虛擬形象實時互動解決方案極大的減輕雙端演算法效能壓力,降低了使用者入門門檻,讓更多千元機使用者也可以提前體驗虛擬互動的樂趣,感受元宇宙福利。

四、互動:低延時、無卡頓,元宇宙中的“面對面溝通”。

作為融合通訊雲專家,網易雲信的 RTC 能力在行業一直處於領先地位。針對元宇宙中必不可少的“實時互動”場景,網易雲信 WE-CAN 全球智慧路由網路為“0 距離”溝通保駕護航。

面對複雜多樣的網路環境、良莠不齊的終端裝置,WE-CAN 可以穩定提供全球範圍內毫秒級延時的實時互動能力,通過智慧路由網路擇優選擇最佳路線,百毫秒內觸達全球數百個國家和地區,為 99.9% 的通話提供無卡頓的音視訊服務。基於高可靠低延時的網易雲信 WE-CAN 全球智慧路由網路,網易雲信虛擬形象實時互動解決方案可以實現虛擬人實時互動,像現實世介面對面對話一樣。

五、便捷:1 個 SDK 即可實現元宇宙 2 大核心技術。

面對元宇宙中虛擬形象和實時互動兩大難題,網易雲信的一體化解決方案將虛擬形象和 RTC 在技術層面深度結合封裝,客戶再也無需對接多個供應商,只需一個 SDK 就可以構建一個充滿遐想的高體驗的虛擬形象實時互動場景

 
(網易雲信「虛擬形象+RTC」融合 SDK 功能框架圖)

網易雲信「虛擬形象+RTC」融合 SDK 承擔了音視訊採集/前處理,資料分析、編碼傳輸、解碼渲染等輕量級工作,將複雜的高算力的工作轉移到雲端,藉助融合 SDK 形成高效的端-雲協同工作模式,提供虛擬形象實時互動一體化能力。跨越高深的技術壁壘,只需這一個 SDK。

六、場景:金融、電商等多行業適用,降本增效快人一步。

值得一提的是,網易雲信虛擬形象實時互動解決方案不僅能夠應用於元宇宙世界或娛樂社交行業,還可以廣泛應用於各行各業,幫助企業降本增效的同時,也能提升客戶體驗,從而提高使用者留存率,創造營收。

1. 金融行業:虛擬數字人客戶服務,提供 7 x 24 小時不打烊的溫暖服務


(金融行業應用示例)

2. 電商行業:虛擬人直播帶貨+客戶服務,帶來業務營收、客戶體驗雙重提升


(電商行業應用示例)

......

小 結

儘管進入元宇宙需要解決這樣或那樣的問題,但不可否認,元宇宙場景的實現、元宇宙產業的成熟,只是時間問題。《頭號玩家》裡的場景可能還得再想象幾年,但虛實融合已是網際網路發展的大趨勢。
一直以來,網易雲信精益求精地打磨技術,站在行業前沿探尋風向,希望能夠幫助行業客戶不錯失每一個機會。現在,歡迎各位朋友和網易雲信一起,邁出進入元宇宙的第一步。

填寫網易雲信虛擬形象實時互動方案免費體驗資訊收集,立即免費試用。

關注網易雲信公眾號,回覆“元宇宙”即可免費試用。

相關文章