如何有趣地「做人」？Cocos 即將推出虛擬角色編輯器

元宇宙熱潮之下，被視為“實現元宇宙的必要元素之一”的虛擬人火了。近兩年，國內虛擬人專案呈現井噴態勢，IDC 預計，到 2026 年中國 AI 數字人市場規模將達到 102.4 億元。

作為產業鏈中偏工具和服務的環節，Cocos 基於沉澱多年的技術能力和與豐富的開發實踐經驗，致力於為元宇宙世界提供技術平臺底座，降低元宇宙內容開發門檻。Cocos 即將釋出自研虛擬角色編輯器，為行業提供覆蓋虛擬角色創作、使用全生命週期的虛擬角色產品線。

近日，Cocos 虛擬角色專案團隊負責人倪飛接受了 InfoQ 的專訪，詳細介紹了 Cocos 在虛擬角色構建上的技術創新以及應用落地實踐。以下為正文。


Cocos 入局虛擬數字人

當前，元宇宙的話題度無疑空前高漲，正迅速攀升為頂流概念。

在不久前 Gartner 釋出的 2023 年十大戰略技術趨勢中，元宇宙技術上榜。Gartner 將元宇宙定義為：由虛擬技術增強的物理和數字現實融合而成的集體虛擬共享空間。

元宇宙火爆之下，虛擬人作為元宇宙的場景入口與連線紐帶也備受矚關注。艾媒諮詢釋出的《2022-2023 年中國虛擬人行業深度研究及投資價值分析報告》中提到，2020-2021 年，虛擬人相關企業數量逐漸呈現快速增長趨勢。

目前，海內外的廠商正在加快佈局虛擬人賽道，尤其是巨頭廠商正在佔得先機。

近兩年，Cocos 將“觸角”延伸到了虛擬角色領域。Cocos CEO 林順十分看好元宇宙的發展，他認為元宇宙技術帶來的顛覆性改革，或許可以媲美上一個軟硬結合的劃時代發明——網際網路。林順認為，元宇宙有三種呈現形態：虛擬空間、擴增實境、平行世界。而不論是哪一種呈現形態，不管是哪一種虛擬世界，都需要一個強大的 3D 技術作支撐。

3D 技術正是 Cocos 的擅長領域，Cocos 在該領域已有數年技術積累，憑此入局元宇宙已是水到渠成，Cocos 更是直接成立了虛擬角色專案團隊。

在虛擬數字人產業鏈中，基礎層為其提供必要的軟體和硬體支撐；平臺層為其製作及開發提供技術，連線技術和服務使之呈現出不同的虛擬人樣態；應用層令虛擬數字人在各領域應用實踐。

倪飛認為，無論虛擬角色未來會發展成什麼樣的應用形態，其底層是通用的工具化的能力。像 Cocos 這樣長期致力於工具開發和技術能力賦能的廠商，處在虛擬數字人全產業鏈中偏工具和服務的環節。Cocos 更擅長做工具賦能，將工具做好賦能給第三方廠商使用。

如何在低算力終端中執行虛擬角色，是一個十分複雜的難題，需要專業積澱和積累。憑藉過往在渲染層、移動端適配、工具化等方面沉澱多年的豐富技術經驗，Cocos 試圖讓這一問題簡單化。而這些經驗也成為 Cocos 進入虛擬角色領域的底氣和優勢。

倪飛告訴我們：“面向未來的 3D 化互動，大致分為人、事物、組織在 3D 空間裡的活動。Cocos 從發散的數字孿生的邏輯，收斂到數字孿生中的‘人’的部分，我們團隊專注於透過虛擬角色構建來推動數字孿生，以及未來面向未來的 3D 互動。”

如何建立一個全週期的虛擬角色？

基於沉澱多年的引擎底層技術能力和與開發實踐經驗，Cocos 為開發者提供了多個低門檻、高效率、跨平臺的虛擬內容生產工具，降低整個生產鏈路和實際釋出鏈路的成本和門檻，為行業提供覆蓋虛擬角色創作、使用全生命週期的虛擬角色產品線。

自研多項虛擬角色編輯工具

如何既能讓虛擬角色動起來，又具有性格，且能夠跨平臺進行互動，具有相當高的技術門檻，Cocos 希望用自身擅長的工具化能力將技術門檻降下來。

針對虛擬角色製作，目前 Cocos 已自研了 Cocos Creator、Cocos Persona Editor 編輯器、Cocos Avatar SDK 等多款虛擬角色編輯工具。

Cocos 認為，虛擬角色涵蓋的範疇大於數字人。目前，整個虛擬角色行業分佈的大類是寫實、卡通和二次元，其中，寫實虛擬數字人是當下的主流方向。倪飛介紹，寫實數字人、卡通數字人、二次元數字人等人形的角色都是 Cocos 的工具支援的方向，希望這些工具能夠支援美術創作者自定義生產寫實類或卡通類、二次元類的虛擬角色。

今年 8 月，Cocos Creator 3.6 正式釋出，這一版本被官方稱為是 Cocos 近兩年來最重要的版本，在畫面渲染、效能、原生化、編輯器最佳化等方面都做了大幅進化。在 3.6 版本中，引擎在 3D & 2D 開發上體驗更好、效能更高、效果更出眾。

倪飛介紹，Creator 3.6 版本做了更易用的封裝和升級，引入了動畫系統，增加了對材質和光照模型進行最佳化等新功能，這一新版本引擎的釋出能夠提高虛擬角色的表現效果，讓虛擬角色呈現出的光影更加真實。

目前，Cocos Persona Editor 編輯器，Cocos Avatar SDK 正在緊鑼密鼓地開發中，預計不久後將正式推出。

採訪中，倪飛向 InfoQ 透露了上述工具的一些核心功能。Cocos Avatar SDK 的核心邏輯是快速讓 B 端使用者擁有建立、操作虛擬角色的能力，SDK 已經適配了安卓、iOS、H5、微信小程式/小遊戲端，可以直接嵌入到 APP 內，實現流量的閉環，為使用者提供更好的體驗，據悉目前市場上已經有知名 APP 採用了 Cocos 的這套 SDK 邏輯。

Cocos Avatar SDK 最核心的三個特點是高效能、可熱更、易使用。它提供了 SaaS 化美術素材託管與熱更服，透過對“指定素材的分發、熱更 + SDK 展現 + 編輯器快速編輯”的邏輯，Cocos 形成了一個開箱即用的虛擬角色建立、展示能力工具集，不僅能夠讓傳統的軟體開發商無需追加 3D 開發人員即可立即擁有虛擬角色的載入、替換、捏臉、換裝、插入影片播放、替換 2/3D 背景和場景、3D 空間音訊等能力，而且內建動捕、面捕、WAV 口型播報等 AI 能力，能夠接收本地/遠端的結構化資料，驅動虛擬人進行表情、動作、口型、特效等表演。


Cocos Persona Editor 編輯器的邏輯是，從預製模型到直接輸出，內部已預製了多種不同風格的虛擬角色的基礎模型，提供了 200 多個引數，包括臉型、服裝、道具、妝容、鞋子、配飾等，使用者可以透過預設的引數建立虛擬角色。與建立遊戲角色的邏輯類似，透過 Cocos Persona Editor 編輯器，使用者選擇想要的美術風格，選擇想要的虛擬角色的型別，再進行捏臉，選擇動作、表情等，就可以輸出一個虛擬角色。

渲染、AI 接入五大關鍵技術

據悉，目前 Cocos 基於虛擬人已實現了建模、口型、動捕、渲染、AI 接入五大關鍵技術。

高度自定義角色編輯 & AI 建模

預置角色模型擁有多達 263 個臉部、身體調節係數，支援使用者自主開發獨一無二的虛擬形象。同時 AI 建模技術能讓使用者利用照片快捷生成真人數字化身。

實時渲染

渲染能力對虛擬角色來說非常重要，這也是 Cocos 引擎所提供的一項基礎能力。

渲染分非實時渲染和實時渲染兩種邏輯。以前影視劇、動畫中逼真、漂亮的虛擬角色，大多是離線，非實時渲染出來的，先給虛擬角色做好 3D 模型，再在離線渲染器中渲染出來。這類虛擬角色的儲存格式是影片，互動較困難，無法做到和人進行互動。

如果希望虛擬角色能夠像真人一樣說話，並展現相應的表情和體態動作，讓人覺得是舒服、有溫度的交流，這就需要有實時渲染的能力。現在大量數字人應用場景裡的虛擬助手、身份 IP、偶像 IP 等，都要求虛擬角色被實時渲染出來，且能夠被驅動起來，包括臉部驅動、身體、動作、手勢驅動等。讓虛擬角色在移動端能夠跑起來且能夠跟人做實時互動，這也需要用較小的算力把虛擬角色渲染出來。此外，在虛擬角色應用的場景裡，如在虛擬角色在元宇宙裡開會、辦公、展覽等，這些場景實現都依賴實時渲染能力。

與卡通、二次元類的虛擬角色相比，寫實的虛擬角色對渲染管線的要求更高，且需要採用不同的渲染技術，如次表面反射、雙向反射分佈函式等。Creator 3.6 版本在 3D 畫面渲染能力上，重點最佳化了對 3D 內容非常重要的材質匯入功能與渲染演算法，包括 Surface Shader 自定義材質、CSM 級聯陰影、各向異性光照模型、GGX 環境反射卷積圖等，以達到更好的渲染效果。

人物動態捕捉及採集技術

骨骼動畫重定向後能讓虛擬人擁有無限的動作表現潛能。一張照片、一段影片，無需專業動捕演員，你的虛擬形象便能擁有精彩的動作表現。

Cocos 已經實現了用通用攝像頭進行中低精度動作捕捉。基於視覺的動作捕捉分為 TOF、鐳射、基於 RGB-D 攝像頭和直接基於普通的 RGB 的攝像頭做形象、影像等資訊採集。

目前 Cocos 正在嘗試透過 RGB-D 的攝像頭採集資料進行 AI 訓練解決動作捕捉遮擋定位與 3D 空間關係問題。基於 AI 訓練能夠自動補全視覺當中影像未可見部分的手部、腳部等 3D 空間位置，自動預判軀幹前後遮擋關係。

面部系統捕捉技

Cocos 實現了高精度實時表情捕捉技術，利用大量影片資料來訓練模型，最終產生高質量的連續變形體（Blendshape）權值輸出，用於驅動完整的虛擬角色，實時表情捕捉效果與離線效果相近，可實現高精度捕捉。

基於人工標註的臉部資料、擬真的渲染資料進行機器學習訓練，將採集到的語音播報和人臉資料進行學習後，輸出學習模型，實現面部捕捉。


口型驅動技術

語音口型驅動是透過對音訊中的音素進行識別，透過大量的資料 AI 訓練模型，以 mesh 變換的形式驅動 3D 人物口型，從而達到高擬真語音播報。

AI 骨骼繫結技術

完善的骨骼標準及骨骼重定向是驅動人物的關鍵，豐富的動作庫能夠快速提升製作效率。

當前 Cocos 正在內部測試視覺化的人體骨骼快速繫結功能，實現匯入模型與標準骨骼的快速繫結，從而快速適配 Cocos 動作庫中的動作，驅動人物在相關場景中使用。

針對解決虛擬角色構建難點


面向移動端發力

超寫實虛擬人的一大特點就具有類人的外觀，業內很多虛擬人產品尤其是虛擬偶像都被賦予了超高的顏值，而且在五官、皮膚等方面十分逼真，例如髮絲都清晰可見。但類人程度越高，算力就是一大難點。

在傳統的虛擬角色生產邏輯中，一個虛擬角色模型四面匯出後，可能光頭髮就幾千萬面。在手機端，很難有如此龐大的算力可以帶動幾千萬面的頭髮實現“絲毫畢現”的飄動效果。

倪飛表示，針對這一難題，Cocos 現在集中在移動端發力，在移動端做了大量的技術最佳化，採用“面片”的邏輯將虛擬角色的頭髮輸出，從而實現了飄動、毫髮畢現等頭髮細節的生動展現，支援按照不同效能機型，選擇虛擬角色渲染策略。當前虛擬角色已經能夠在手機端進行下圖級別卡通寫實人物的實時渲染，在驍龍 865 機型上保持 30 萬面左右 60FPS 的同時，進行面捕捕捉和捏臉換裝。


倪飛提到，除了頭髮，服裝的飄動、模擬也是業界的一大痛點。如何讓服裝動起來，例如在虛擬角色跳舞時實現裙子飄動，這類基礎問題在業內已有各種實現方案。但讓虛擬角色的服裝呈現出純物理世界的形態，逼真地將真實世界中衣服的動態還原出來，當下還是一個很難實現的問題，尤其在移動端的實現格外困難。

接下來，Cocos 還將在移動端上持續發力，讓開發者不僅可以創造足夠逼真的 3D 形象，而且能在最小的算力範圍內，達到最優的虛擬人效果，實現覆蓋大多數低算力裝置及作業系統。

虛擬人應用和規模化落地


支援企業按需定製虛擬人

針對不同行業對虛擬人的差異化需求，Cocos 推出了可快速接入的 Cocos Avatar SDK，以及虛擬角色編輯器 Cocos Persona Editor，支援企業“按需定製”虛擬人，併為企業提供標準化的服務，幫助其降低時間成本和製作成本。企業可以標準化地生產自己需要的虛擬角色，並將其應用到相應的場景中去。

在實際的落地專案中，Cocos 多樣化的功能支援能幫助虛擬人拓寬更多使用場景，比如 Cocos 支援靈活載入影片，搭配虛擬角色，能很好滿足線上會議、文旅遊覽等場景需求。又比如，Cocos 還支援對本地渲染結果反向進行紋理輸出，能夠實現一次輸出影片、滿足多端使用，大大提升了效率。同時，Cocos 支援熱更新及按需分包遠端載入，保證 SDK 首包足夠小，有效提升了各個場景中使用者的瀏覽體驗與留存率，這樣可以讓虛擬人更好地跑在各種終端上。

據瞭解，Cocos 正在與一些廠商合作，助其實現虛擬數字人應用落地。例如，Cocos 與聲網就虛擬人專案達成合作，共同搭建 SDK，推出了功能豐富的元娛樂解決方案，幫助開發者整合後完成自己的內容創作。而在百度元宇宙解決方案“希壤Lite"裡面，則整套技術都是採用 Cocos 的方案。


值得注意的是，當下，應用場景受限是當前虛擬數字人在應用過程中存在較為普遍的一個問題。

“我們目前看到的客戶兩三年以前就有做虛擬角色的了，但做完虛擬角色之後他們也在發愁——做了一個超寫實的虛擬角色，買了七八萬的裝置，就只是在釋出會上用一下，其他地方用不了。這個虛擬角色到底能幹嘛？他們也挺愁的。”

倪飛表示，對於這些使用者的痛點，Cocos 給出的解法是，讓這些虛擬角色在 Cocos 的引擎裡做二次加工，讓它的效果在基本保持一致的情況下，能在移動端、計算類端、小程式端，小遊戲端跑起來。再往後可以架設自己的角色服務能力。比如，讓虛擬角色具備對話能力，成為虛擬客服；讓虛擬角色後面接中之人，讓它具備直播的能力；讓虛擬人直接執行在電視大螢幕、投影螢幕等；讓虛擬角色在應用場景中與人類使用者溝通交流；應用在車機場景，將虛擬角色與車機內的系統深度繫結，讓它擔任車內的智慧助手等……

“這都是現在行業裡已經存在的邏輯，只是看廠商有多大的投入決心，願意投入多少技術去解決這類問題。”倪飛說，“現在已經看到一些服裝廠商對虛擬角色表現出了較大的興趣和偏好。”

批次化生產未來會成為普遍現實

倪飛認為，儘管每家廠商在虛擬人制作上的邏輯不完全一致，但未來，虛擬角色的生產將成為非常普遍的現象，無論批次生產是基於現有素材的重組，還是基於 AI 生成，還是基於條件的，抑或是基於其他的邏輯。

“批次生產，本質上是未來的一個通用的需求。之所以是一個通用的需求，是因為我們需要在各種場景裡去豐富‘路人甲乙丙丁’，以讓整個虛擬世界裡，看起來是更擬真的。”

虛擬角色的商業化已在進行中

可以看到，虛擬數字人已經被應用在各種應用場景中。

現階段，虛擬數字人還在發展的早期，談商業化還為時尚早。但根據倪飛的觀察，業內已有一些提供數字人服務的團隊，實現了小規模盈利。此外，在數字人的製作環節，原先做 2D 動畫的廠商在轉向做 3D 動畫後，生產流程發生了很大改變，生產效率也大幅提升。

有人認為，虛擬數字人將是元宇宙率先實現盈利的領域。倪飛認為，虛擬角色將會是未來元宇宙裡基數最大的，也是最通用的一個領域。因為，未來，每個人都會有自己的虛擬化身，如果未來資訊互動的入口發生了改變，由原來的文字變成形象、語音、圖片、影片推送的互動的流，虛擬數字人在所有的應用領域都會存在，到時候它將變成一個非常基礎的應用。

倪飛認為，當虛擬人成為所有應用領域的基礎形象後，在虛擬人之上，一定會產生新的與之強相關的業務。例如，在各個應用間的虛擬角色可能會產生聯通互動的社交需求等。這些都蘊含著潛在的機會和商業價值。


來源：COCOS
原文：https://mp.weixin.qq.com/s/7nBLaAgHTPCH7zfW53obdg