數字人Steven：Behind the Scenes

在剛剛結束的“SPARK 2022”騰訊遊戲釋出會上，騰訊高階副總裁馬曉軼Steven的高保真數字人亮相，其背後的製作團隊是NExT Studios。從2017年高保真實時數字人Siren開始，NExT先後製作了Matt AI、小諍、外來人員WL.S等角色，持續探索數字人制作領域。

此次數字人Steven的製作，NExT首次實現了影視級全流程跑通，也是努力突破“虛實結合”3D高保真製作挑戰的又一次技術力檢驗。


高保真數字人被稱為“數字技術皇冠上的明珠”，要“以假亂真”一個既有的人，需要大量的技術能力和極其注重細節的糾偏能力。在製作過程中不斷對比數字人和真人的差異並除錯，使之在任何燈光環境下都感受不出異樣，這個環節叫做LookDev。它是一種理念，一種檢驗數字人模擬度的可量化標準，是製作中不可或缺的環節。

“像與不像其實是非常主觀的判斷，我們要確保數字人和本人是一模一樣的，必須把所有的變數都固化到具體的數值。比如皮膚的材質和顏色、眼球的結構、睫毛的材質都會影響呈現，燈光的亮度、方向，以及一系列的白平衡等引數也是變數。我們技術團隊需要做的，就是反推出我們還不確定的變數，用數值性的方法定義角色。”數字人Steven專案製作人劉奇申說道，“LookDev是一個不斷匹配的過程，希望確保最終制作出來的成果和原始的人物是分毫不差的。”


LookDev是一把“金尺子”。從最開始的掃描、實拍、再到後期的製作、渲染，每一個環節，製作團隊都會把這把拿尺子出來“量一量”，實時糾偏，確保團隊成員一直照著共同的標準制作。



建模，是製作數字人的第一步，通常由隸屬工作室的Photogrammetry Lab（照相建模實驗室）擔此重任。由於疫情封閉，幾經週轉只能借用到精度、數量、調校、採集環境都稍遜的另一個照相掃描室進行Steven的全身掃描，將資料傳輸給上海的製作團隊完成模型製作。


數字人皮膚的製作是一項複雜的工程，真實的人類皮膚通常有油脂層、脂肪層等，光線照射在皮膚後，會進行漫反射、鏡面反射、透視等。有些光線被血液和油脂吸收，有些則被油脂反射，稱為“次表面反射”。

“我們在做虛擬人皮膚材質的時候，必須同時把這幾層結構都考慮進來。”數字人Steven專案技術負責人李靜翔說，“一個人的皮膚本身有毛孔和汗毛，除此之外我們還有一層絨毛，有點像桃子上的毛。一般離得非常近或是有側面光打過來時，絨毛會比較明顯。我們在數字人臉上也做了一層非常短、半透明的絨毛。當數字人做任何表情的時候，這些絨毛需要跟著臉部一起運動，否則容易出現穿插的問題。”



如果人物樣貌已很真實，但服飾衣著粗糙，也會讓人第一眼就有明顯的假人觀感。所以在製作數字人Steven整套衣服和鞋子時，製作團隊採購了實物服裝，完全按照真實比例，在MD（Marvelous Designer）中打板還原並建模。


以數字西裝為例，模型師不僅還原出衣服形態，而且進行了更精確的“毫米級”製作，讓其更具真實質感。比如為了儘可能寫實西裝的筆挺質感，還原真實動作下的褶皺布料狀態，角色特效師參考了大量布料動態視訊，根據經驗設定拉伸、彎曲屬性進行布料解算，在保持西裝狀態的同時儘量接近真實褶皺的狀態，提升了數字人實時動畫的品質和藝術表現力。





數字人模型做好後，就需要“動起來”。之前往往通過真實照片和數字人靜幀對比來製作表情，但靜態對比容易忽略一些表情的“動勢”——人的表情不是單一的一幀，而是呈現這個表情前後的一臉串微表情集合。所以製作團隊根據FACS（Facial Action Coding System 面部表情編碼系統），把如張嘴、閉眼等極限表情時肌肉的發力、拉伸通過動態形式還原出來，在之後動捕驅動的環節，能夠較好地還原Steven的表情個性。

通過NExT自研的xFaceBuilder®數字角色製作管線，製作團隊完成了700餘個表情製作。開發同事把骨骼的運動方式和演算法完成，像黑盒一樣封裝起來，動畫師完成最終的表情動畫。xFaceBuilder®極其高效便捷地簡化了製作流程，此時的動畫師就像一名司機，開發團隊提供的控制皮膚就是他的“方向盤”。不需要知道汽車如何具體運轉，也不需要知道方向盤和油門控制的底層原理，只需要踩油門和剎車，掌握方向盤，他就可以把這輛車開到想去的地方。


釋出會上，高保真數字人Steven會進行一段對話，需要驅動數字人模型“能說會道”。驅動模型的方式通常有手動驅動、動捕驅動，或者語音驅動等。人說話時臉部、嘴部、眼部肌肉都會配合輕微運動，手工驅動是由動畫師按幀調整，雖然精準但耗費大量人力；動捕驅動的聯動性較好，缺點是不精準；語音驅動可在較短時間內進行大量製作，適合對動畫精度要求不高且數量大的專案。

鑑於整體制作要求較高但時間有限，技術團隊最後選取了手工驅動和動捕驅動相結合的驅動方案。Steven本人因疫情原因無法參與實地動捕，提供了一段手機拍攝的視訊，載入進動捕軟體裡，用動捕方案驅動，動畫師再在此基礎上做手工驅動補充。這樣在精準表現單個微表情的前提下，更大程度地保證了表情的聯動性。



能夠把一個數字人做得像真人，用當下的技術可能已經不難了，但是“像一個真人”和“像某人本人”，從形似到神似的跨越才是最難的。

通常數字電影裡的CG人物比較“風格化”而不是“擬真化”，防止觀眾落入“恐怖谷效應”。比如《速度與激情7》裡保羅兄弟動捕換臉、《雙子殺手》裡年輕版威爾 · 史密斯的製作等，這些AI換臉技術相對成熟。但是NExT此次製作數字人Steven放棄了換臉“捷徑”，而是實打實的3D製作，相當挑戰團隊極限技術能力。

技術團隊對Steven的日常表情和動作細節做了大量研究，以海量的照片和視訊為基礎，無論是個人特徵或者代表性的小動作、微表情，都抓取下來運用到製作細節中，讓數字人“從形似到神似的跨越”有更多助力。

另一個難點是“虛實結合”的製作方式——視訊背景是真實場景，需要把數字人Steven嵌入到環境中，再把整體色調和氣氛全部恢復到當時的實拍環境中，讓人看不出是環境外嵌入的虛擬人物，而是融合在環境中的人物。

燈光渲染首先需要獲取最基礎的HDRI環境引數，通過手動打光的方式還原燈光環境，並校正修飾光照在角色上的照明效果，以達到更理想的狀態。



NExT技術團隊按照影視級別的標準，花費近半年時間完成了高保真數字人Steven的製作。說到技術團隊的人員構成，也算是挺有趣的組合，一半來自影視行業，一半來自遊戲行業，由此也能一窺近年持續發酵的影遊“共生融合”關係。

影視行業的專業流程、高品質標準，慢慢進入遊戲行業，賦能遊戲開發的高效性和系統性。遊戲行業的技術也在反哺影視，例如虛擬拍攝可以幫助影視行業大批量、相對低成本地生產內容，其“實時性”的特質讓導演在現場可以第一時間所見即所得，充分發揮自己的創造性。越來越多的經驗和技術在影視和遊戲之間共享，試想如果遊戲引擎渲染的畫面質量能進一步提高，愈來愈趨近影視級品質，價效比的優勢愈來愈凸顯時，有無可能真正替代傳統影視呢？


數字人的應用場景不光是影視和遊戲，醫療、政務、金融、教育等領域都在持續探索發展。未來AI、5G、雲端計算、大資料、人工智慧等技術深度融合，科技水平和算力有更大突破，線上可能有我們的數字孿生，也可能有外形和意識構成均無限趨近於真人的“有血有肉”的虛擬朋友，與你私密地交談，分擔憂愁共享快樂。在製作數字人的當下，能依稀看見未來發生變化的輪廓。未來世界的虛實共生的樣態，可能已經在慢慢到來。


來源：NExT Studios
原文：https://mp.weixin.qq.com/s/9iSyy4o-AanCazJb5fMH3Q