正值元宇宙熱潮,虛擬數字人興起
作為一個新興領域,虛擬數字人已經引起市場和資本的高度關注,截至目前據不完全統計,全球範圍已有500+虛擬數字人相關專案獲得融資,融資總額超10億美元,並且融資專案和總額正處於快速上升狀態。以亞太地區最火熱的韓國頭像製作平臺Zepeto為例,近期正在準備近2億美元的融資,短短3年時間內就晉升獨角獸行列。
Zepeto市場熱度持續走高,做頭像也能成為獨角獸
Zepeto是全球最大的頭像製作平臺之⼀,自Zepeto推出後短短三個⽉的時間內,MAU增長高達5倍,在35個國家/地區的應用商店中免費軟體類別中排名第⼀。在軟銀和頂級K-pop公司的⽀持下,該平臺擁有Gucci、Ralph Lauren、Nike、Disney和MLB等眾多全球領先企業作為其合作伙伴,目前已經交易了超過15億個應用程式內專案,擁有超過2000萬的MAU和2.5億終身使用者,是Metaverse和虛擬數字⼈市場的先驅之⼀。
據悉Zepeto正在進行上億美元B輪融資,軟銀將以10億美元估值投資1.5億美元,Zepeto在完成此輪融資後將晉升獨角獸行列。
虛擬偶像橫空出世,一夜爆火震驚行業
Ayayi於今年5月20日在小紅書釋出第一條動態,宣告中國首個虛擬偶像誕生,第⼀條小紅書釋出當天獲得224萬閱讀、9.3萬喜歡、超過4千條評論,僅僅一夜時間獲得4萬粉絲,在⼀個月的時間就與國際⼤牌矯蘭達成合作,Ayayi的走紅速度令國內眾多希望一夜成名的網紅望塵莫及。
打造Ayayi的超現實虛擬數字⼈虛擬孵化公司燃麥科技也因此獲得資本的關注,迅速於6月25日完成Pre-A輪數百萬人民幣的融資,持續打造更多虛擬數字人形象、擴大業務範圍。
虛擬數字人仍處於發展初期,距離完全體存在距離
虛擬:存在於非物理世界中,實現難度視不同場景存在差異
- 以圖片、視訊、實時內容等形式存在於數字媒體或虛擬世界中,沒有物理實體形象。
- 各個場景所需的技術和驅動方式存在差異,例如在對於圖片形式的虛擬數字人要求較低,目前階段實現難度低,但對於視訊直播則需要極⾼要求,目前仍在發展階段。
數字:數字技術是發展基礎
- 虛擬數字人是多種技術的綜合產物。
- 核心技術包括CG建模、真人驅動、深度學習、⼈⼯智慧等。
- 近年來影像識別、語⾳識別、動態捕捉等技術的成熟推動了虛擬數字人發展。
人:高度擬人化,追求對真人的最大程度還原甚至超越
- 外表:虛擬數字人的外部形象,受到掃描建模、製作細節、渲染水平等技術影響。
- 行為:虛擬數字人的面部表情、肢體動作、語⾔表述等受到驅動技術、深度學習、資料訓練等技術影響。
- 互動:虛擬數字人的互動能力受到語⾳識別、⾃然語⾳處理、人⼯智慧等技術影響。
完全體的虛擬數字人具備三大主要特徵,現階段發展水平距離完全體仍有距離
虛擬數字人發展歷史,由手繪轉向技術
虛擬數字人已形成從構建到應用的完整產業鏈
產業鏈上游包括生成虛擬數字人的一系列硬體及軟體提供商
目前虛擬數字人的製作成本高昂,在一定程度上制約了行業的大規模應用和發展,尤其是3D虛擬數字人,僅僅是製作單個虛擬數字人人物形象的成本高達百萬人民幣。
但在未來伴隨建模、軟體、裝置各方面的日益成熟,將使虛擬數字人的製作門檻逐步降低,技術成熟度是推動虛擬數字人商業化的重要基礎。
虛擬數字人的生成過程主要由建模、驅動、渲染三大步驟構成
建模 —> 驅動 —> 渲染
虛擬數字人形象製作過程中主要有建模、驅動和渲染三大過程,目前有兩類製作技術,分別為真⼈驅動型和技術驅動型。兩種製作技術在驅動過程中存在差異。從兩種製作技術的可塑性角度而言,技術驅動型更符合未來市場的需求。
建模:相機陣列掃描重建替代結構光掃描重建成為人物建模主流方式
主流三維掃描建模有四種技術:
建模:多相機陣列加光場能獲得更好建模效果,核心是演算法
Light Stage
嘉興超維VR3D
2019年初,Paul Debevec因其Light Stage掃描技術獲得Oscar SciTech Award獎項。Light Stage是由美國南加州⼤學ICT Graphic Lab的Paul Debevec所領導開發的⼀個高保真的三維採集重建平臺系統。該系統以⾼逼真度的3D人臉重建為主,並已經成功應用於40多部好萊塢電影渲染中。Light Stage本質上是一套光源、相機協同採集系統,能夠對每個光源進行獨立程式設計控制其亮度和顏色,在Light Stage內模擬出較為理想的各種光照環境。
對於光場建模而言,演算法是核心,國內對於這⼀演算法技術還沒有成熟的解決方案。中國嘉興超維的VR3D也使⽤了光度立體法作為掃描⼿段,但距離Light Stage級別的掃描還有⼀定距離。上海科技大學MARS實驗室的穹頂光場(Light Field Stage)也在進行同樣的嘗試。
驅動:目前主流有三種驅動技術,各有優劣
光學動作捕捉
光學動作捕捉是通過對目標上的特定光點進行跟蹤完成運動動作捕捉的技術。最常用是基於Marker(馬克點)的光學動作捕捉,在運動物體關鍵部位貼上能夠反射紅外光的馬克點,並用相機捕捉馬克點的運動軌跡。
成本高昂,捕捉精度高,對環境要求高
慣性動作捕捉
慣性動作捕捉主要是基於慣性測量單元IMU(Inertial Measurement Unit),在身體的重要節點佩戴整合加速度計,陀螺儀和磁力計等慣性測量單元,然後通過演算法實現動作的捕捉。
價格相對較低,精度低,連續使用會產⽣累積誤差,發生偏移
計算機視覺動作捕捉
計算機視覺動作捕捉基於計算機視覺原理,由多個高速相機通過不同角度對目標特徵點進行監視和跟蹤實現動作捕捉。通過高速率連續拍攝,從影像序列中獲得運動軌跡。
精度高,受外界環境影響大,簡單,易⽤,低價
總結
光學捕捉:捕捉精度最高但同時成本最高,需要在無遮擋和光線充足的環境下進行,對人物和光線進行捕捉
- 國外代表:Vicon,OptiTrack,Motion Analysis
- 國內代表:Nokov,uSens,青瞳視覺
慣性捕捉:扛遮擋能力最強,成本在三種技術方法中適中
- 國外代表:Xsens(荷蘭)
- 國內代表:諾亦騰,幻境,國承萬通
視覺捕捉:成本和對環境要求都較低,但是要求極高的演算法開發能力
- 國外代表:Kinect,Leap Motion