NEXT Studios的故事——虛擬數字人Siren的誕生(下)
本文為系列文章第2篇,點選回顧上篇內容。
Project Siren Episode 4
上回說到渲染開發和人臉建模。那兩塊雖然也複雜,但還不是整個專案中風險最大的部分。風險,總在於整個專案中的短板。
恐怖谷效應
真正的難點,在於臉部表情。
這麼多年來,實時數字人技術,無法跨越恐怖谷,非常重要的原因,就在於臉部表情難以模擬。在靜態畫面層面,已經有很多遊戲,做到極其逼真的人像渲染。而逼真的畫面,在動起來以後,就有讓觀眾微妙的不適感。這不適感,來自於表情動畫。
下圖來自Uncharted4。
人類太熟悉人類的表情,一顰一笑,即使是臉上最細微的表情,我們都可以感知到。而計算機視覺打造出來的表情,缺乏靈氣。這個靈氣,就是計算機視覺最難跨過的門檻。
如果對錶情捕捉有了解,大家會說:不對啊,近年來類似的捕捉技術很多。相當多技術,可以做到實時捕捉真實表情,運用到卡通臉、甚至是動物臉上。比如Facerig的技術,就可以在消費級別的Webcam上,捕捉人臉表情,讓畫面中的卡通角色做出“一樣”的表情。
我們日常使用的iPhoneX,也可以有Animoji,捕捉表情,應用在卡通角色。
如此看來,似乎表情捕捉也並不複雜?
其實不然。很多團隊已經可以把表情用在卡通模型上,但他們還是需要很大的勇氣,才能把類似的技術用到真人模型上。因為使用卡通或者是不精確的模型,這些技術都回避了難點問題:精準的表情識別。
卡通角色,由於和真人有巨大的差異,所以人類對他們表情有很大的寬容性。卡通臉的表情,如果和真人捕捉的表情有出入——事實上一直有巨大的出入,你也不會留心到,反正卡通角色的表情怎麼做都可愛。但真人角色就不一樣的,如果表情有差別,根本不需要把兩個表情放在一起做兩兩對比,你也馬上就可以感受到。當然你不會看出這個嘴角少上翹了3度,而是會覺得表情說不出的僵硬和古怪。
換句話說,這就是恐怖谷。
在上圖中,橫軸代表模型逼真度,左面是完全不像真人,右面代表完全真實。縱軸代表人類對這樣模型的好感度,下面是沒有好感,上面是有好感。
卡通模型處在座標軸的左側,所以表情的誤差,並不會導致人類的好感度下降。隨著卡通模型的越來越逼真,人類的好感度也在逐漸上升。
當模型質量開始逼近完美的時候,我們會發現,隨著質量的微小提升,好感度反而出現了巨大的下降。而隨著模型進一步完美,人類的好感度才會逐漸提升。這個曲線形成了一個小山谷,這就是通常意義上的恐怖谷。
我們專案的目標物件質量,已經接近真人,所以在虛擬世界中,微小的誤差,也變得無法忍受,換言之,就是進入了恐怖谷。
表情捕捉
面對恐怖谷,並不是沒有辦法克服技術的不足。傳統電影行業就做到了。他們依賴的是更高的採集精度,更多的計算資源,以及手工精修。電影的大量合成畫面,都是經過動畫製作人員手工一幀幀調整來做到的。
但具體到我們實時領域,就不能採用如此暴力的手段。相比於電影行業,實時是我們的優勢,也是最大的詛咒。我們不能引入後期的手工精修環節,所有的計算都必須在當時發生。我們也缺少計算資源,虛擬人的程式以60幀每秒執行,而電影畫面的渲染,一幀動輒幾小時渲染,計算能力差距是天差地別。所有的計算都必須在16毫秒的時間段內做完,而且我們能依賴的也不是什麼高階電腦,而是民用級別的電腦。
鋪墊了這麼久的技術難度,另一個重要的合作伙伴,Cubic Motion,也要開始它的表演了。它是臉部表情捕捉的負責方,提供了從硬體到軟體的全部方案。
Cubic Motion在這個行業也已經耕耘多年。2016年,他們就和Epic有過合作,做出了Hellblade的動捕表情實時方案,當時質量已經相當驚豔,但可惜的是模型都還是遊戲的質量。這次再度合作,他們希望挑戰更真實的人臉捕捉。
Cubic Motion的第一個切入點,是從頭盔開始。他們醞釀多時,思考了過往種種不足,展望未來各種可能。所有的技術,都要從“頭”開始,於是,他們使用3D列印,按照模特的頭型,列印了一個假頭…...
這個邏輯有些奇怪,但也合理,列印假頭是為了製作頭盔,不知道頭的尺寸,怎麼製作精確尺寸的頭盔呢?而且頭盔也需要地方存放,有一個假頭,豈不是上好的支撐架子?雖然這個架子有一點點小貴。
他們使用頭盔上的攝像頭,捕捉模特的各種表情,拍成視訊,進行人工標註,生成Solver。這個Solver可以實時檢測臉部表情,生成驅動臉部Rig的資料,驅動真實的人臉。
整套技術的核心問題,都已經走通多時,這次要做的,無非就是更精準,更高效。原理已經成熟,目標也很清晰,只是到達目標的路徑,還是格外艱難。
顯而易見的問題是,這套系統依賴於其他各個模組,並不穩定。如果我們修改了基本的模型,或者修改了Rig,那幾乎可以想到,Cubic Motion的同學們又要熬夜訓練Solver了,因為Solver高度依賴其他模組,所有的細微改動,都會引起他們的變動。偏偏可悲的是,整個研發週期中,所有的模組都在瘋狂調整,沒有什麼東西是穩定的,這就總讓他們在最後一刻拼死加班調整Solver。每次演示前,大家把所有模組都除錯完了,所有資料都收集齊了,就留下Cubic Motion的人,在那裡熬夜標註。
即使沒有外部問題,這套系統的內部問題也不少,它本身也不穩定。Cubic Motion是一個上進的公司,每次演示,都在迭代自己的解決方案,每次都想玩出一些新的東西。Hellblade演示的時候使用了單目攝像頭,到Meet Mike Demo時候使用了雙目攝像頭,Siren版本中,他們又嘗試了Side Camera,就是從側面再加一個攝像頭去拍攝模特的側面。每個新的模式,單獨來看都不是大問題,但在一個複雜工程環境中,就成了巨大的問題。多地合作的時間延遲很大,每次他們調整技術,就需要重新採集表情資源去除錯自己的Solver,偏偏3D列印的攝像頭盔,並沒有多餘備份,我們這一側沒有裝置,就很難及時提供測試資料。
拋開軟體層面的問題不說,硬體層面問題也很大,頭盔的舒適度有嚴重問題。為了保證臉部表情取樣的絕對精準,這頭盔需要非常精準的固定在頭上,不能鬆動,每次的位置都要一樣。為了防止頭盔滑動,就要用力固定緊,這就造成了頭盔的舒適度不佳,會造成頭部疼痛,模特很難有長時間的續航。這個問題在後續導致了史詩級的災難,暫時按下不表。
為了提高合作效率,在專案中後期,我們就嘗試把幾家公司的人,全部拉到Epic辦公室,進行高強度的整合工作。每天節奏基本是半天進行各種系統除錯,資料採集,然後反饋問題給遠端的3Lateral,後面半天Cubic Motion除錯他們的系統環境。
整合的過程並不順利,由於模型也只是剛做完,3Lateral每幾天都會發更新版本過來,於是Cubic Motion的工作被時時清零,隨時要重做。我們的渲染工作倒是進展順利,和Epic的高階TA一起工作,效率很高,我們也抓緊機會,學習了更多的技術和思路。
在美國的集中整合,很快結束了,效果還是不夠理想,然而距離我們的內部彙報,時間所剩無幾了。
最終整合
雖然不理想,但時間一分一秒過去,轉眼就到了2017年底,約定好的彙報日子。
為了做這次彙報,我們要在騰訊內部辦公室搭建一個動捕棚,把所有裝置搬過去。我們團隊先是買了十幾個巨大無比的支架,做動捕鏡頭支撐,寄送到深圳,再買了無數的線材、電腦裝置。看起來並不複雜,只是對於做慣軟體開發的我們,突然去做各種佈線工程,還是非常不適應。
Epic、Cubic Motion的同學們也早早到了深圳,開始了下一輪整合。
此時的基礎模型和Rig已經相當完善,在我們分開的幾周裡面,Solver演算法質量也得到了長足的進步,渲染增強等各方面都接近了最終的質量。
故人相見,分外激動,但閒話少說,大家三下五除二,便把系統除錯完成。剩下的時間,自然還是要留給苦命的Cubic Motion,讓他們進一步提升面部捕捉質量。
這次Cubic Motion非常給力,我們在臨近彙報的前三天,已經看見了非常高質量的Solver,表情的精準度等都已經達到了很高的水準。姜冰潔的表演,可以很精準地被還原,明顯質量已經超越了以往的所有版本。這已經是一個非常好的彙報備選版本,後面還有幾天,可以慢慢除錯,進一步增強效果,看上去這次彙報的質量可以保證了。
從這個聯合專案開始算起,大半年已經過去。我們克服了各種困難,終於接近大功告成。
我們以為這就是全部挑戰了,一切盡在掌握,但後續的問題,才真讓人猝不及防。
Project Siren Episode 5
一帆風順都只是幻想,通往目標的路途總有坎坷。
在專案將近尾聲的時候,最大的挑戰,不期而遇。
下馬威
命運先給我們來了一個小的下馬威。演示現場需要高質量的電視機做演示。我們在公司內部借了一臺Sony 85‘的電視機。我們找人把電視機搬上來後,一開機,就傻眼了,電視螢幕壞了,應該是搬動過程中,碰到了什麼地方,螢幕角落碎裂,畫面糊作一團,液晶在螢幕內慢慢暈開。
大家當時就眼前一黑,不知如何是好。上網查查,這款電視要將近5萬,怎麼看都不是一個小數目,大家一邊吃著晚飯,味如嚼蠟,一邊討論如何處理電視的問題,以及怎麼再去搞一臺電視。
好在我們很快發現,之前有誤解,那個我們以為是85’的電視,其實只有75‘。於是我們有了一種賺了3萬多的錯覺。查好網上商店的同款電視備貨情況,第二天一早衝到家電賣場,搶購了一臺同型號電視,先應付彙報,再還給其他部門。
至於那臺壞電視,也不能放過它。我們將它細心打包,寄回上海,修好以後繼續為公司服務。
這是另一場修煉。我們經歷過產品研發、上線流程,倒從來沒有做過這樣的系統工程,每個環節都會出錯,每個硬體都會損壞,每個裝置都會買錯。雖然當時是身心俱疲,但的確也是從未經歷過的寶貴體驗。
熱完身,終於,我們迎來了最大的挑戰。
歸零
臨近彙報前兩天,模特姜冰潔突發高燒,40度,渾身無力,無法再繼續工作。
起因是複雜的。那幾天工作繁忙,頭盔舒適度低,她一直覺得頭疼,但由於裝置穿脫、校準特別麻煩,即使中場休息,她也不脫裝備。外加歐美人喜歡把室內空調溫度開到巨低,亞洲人不習慣,就著涼了。眼看到了最後一刻彙報關頭,她就病倒了。
為了得到最好的精度,最大幅度還原真實演員的表現,我們一直打算用姜冰潔自己來驅動自己的模型,這樣效果會最理想。然而模特臨場病倒,即使她再敬業,發燒到站不起來,肯定是不能再用她來驅動模型了。
雖然我這個系列文章強調為了敘事,不惜歪曲事實,但這一次的事件確乎是事實無疑。只能說,真實的生活,比虛構的小說更無情。我們的幾個月的資料積累,在最後一刻,被清零了。
我深深感到自己的無能為力,無數事情想做卻又無從做起。從未覺得如此孤單,身邊的一切都在加速遠去,伸出雙手想要挽留,卻抓不住什麼。命運開了個小小的玩笑,碾壓過我們的希望,那些疲憊掙扎的夜,那些彷徨徘徊的路,又有什麼意義。
老司機們之所以是老司機,主要還是心理承受能力夠好。聯合團隊都有多年開發經驗,經歷過各種大風大浪,既然意外總難避免,大家也就只能從容應對。
臨近彙報,已經不可能修改時間了,一方面高層領導時間不好約,另一方面聯合團隊要再湊到深圳,也很難,都是商務人士,行旅匆匆,分分鐘幾十萬上下。
團隊做兩手準備,一面派人照顧模特,寄希望於她在最後一刻會康復,另一方面,開始考慮如何換模特,在最後兩天訓練新的Solver。
團隊的PM妹子在最後一刻頂上,剩下的二天多的時間,配合採集資料,做動作捕捉。由於兩人身材差別比較大,對動作捕捉等都造成了不少的影響,但最大的影響,還是在面部表情捕捉。
最高質量的表情捕捉Solver,在換演員以後,效果出現了退步。苦命的Cubic Motion又開始了訓練新Solver的過程,採集資料,從頭再來一遍。其中甘苦,不必多言,在過去大半年的合作中,臉部表情捕捉質量進一步,退兩步,再進三步,始終呈現不規則震盪,但在那一刻,我們無路可退。
團隊壓力巨大,各種不同文化團隊,出現了爭執、爭論和爭吵。我們為每一個細碎的不順利爭吵,戴上放大鏡看彼此的過失,團隊遠遠沒有磨合好,脆弱的信任和感情,支撐不起絕望的情緒。
極端的壓力,造成至深的裂痕,大家的委屈、鬱悶,都暴露出來,文化的差異,對專案的理解,甚至對食物的抱怨,都是一個個導火索,引燃一場場爭執。不知為什麼,相敬如賓的聯合團隊,在那幾天,都把最不堪那一面展示給了合作伙伴。好在隨著版本的一步步進展,大家又慢慢恢復了職業化的冷靜剋制,共同面對最大的挑戰,追求最好的成果。
沒日沒夜忙了幾天,效果被調整到了一個可以見人的水準,但還是沒有恢復到之前最好的狀態。
彙報
終於到了彙報那天。彙報的場景頗有戲劇性,充滿了各種精心設計的過場,在一次性體驗中,爭取給別人最好的印象。整個流程經過了多輪設計,儘可能自然順暢。
我們先播放視訊,看虛擬人的各種渲染細節,以及一段預製視訊。雖然畫面質量不錯,但大家平日見多了CG影視,也沒啥感覺。
突然螢幕上,視訊電話響起,虛擬人來電。於是我們假模假樣接起電話,和實時互動的虛擬人進行視訊會議。電視螢幕上的虛擬人,是由隔壁動捕房的模特實時驅動,我們會議室的一舉一動,被攝像頭同步到動捕房,而動捕房的模特反饋,則通過複雜系統,被實時捕捉、串流、編碼、視訊傳輸到我們房間。相當於我們做了個視訊聊天系統,只是和我們聊天的物件,是一個被真人驅動的虛擬人。
這個概念很繞,但效果確實很震撼。那些不瞭解我們工作的人,開始以為螢幕上只是一個普通的CG製作的人,突然她就開口和你說話了。於是你修正了自己的判斷,以為團隊做了個視訊聊天系統,和真人聊天。隨後團隊喊出了芝麻開門的咒語,隔壁線人得到指示,輸入Cheat code,螢幕裡面人物的衣服瞬間就變色了,怎麼看都是視訊遊戲裡面的Avatar換裝。你定神再看,螢幕上的人又線框化,變成一個Sci-Fi感十足的線框人。大家正在詫異,不敢相信,突然視訊視窗不爭氣的Crash了,大家恍然大悟,連連擊節讚歎,須知程式崩潰,方是開發常態,又知演示瑕疵,才顯技術本色。
視訊對話期間穿插各種渲染細節展示,特性宣講,隔壁動捕房有專業導播和主持,控制虛擬的Camera,進行直播,隨時Zoom in到合適的細節,進行細緻講解。
聊了幾分鐘後,模特便邀請大家去動捕房看看幕後場景。一行人來到了動捕房,動捕現場網線如蛛網阡陌,模特彷彿鋼鐵俠轉生,渾身纏滿電線和裝備。一整個好萊塢級別的工作團隊嚴陣以待,介紹幕後技術細節。
參觀完幕後,就開始進入傳統的商務畫餅,談起技術定位,未來前景,自不必多言。
圓滿結束彙報工作,但一切還沒完。我們追查Crash原因,這麼多天研發整合過程,從來沒有出過問題,此事必有蹊蹺。後來才知道,導播人員在現場切換各種Camera,純熟使用快捷鍵,好不得意。只是他在切換Alt-4鏡頭的時候,小手一抖,Alt-4時手指伸遠了一點,按到了Alt-F4,直接關閉了視窗。
真相水落石出,結果啼笑皆非,然而結果不錯,大家一笑而過。
當晚月明星稀,團隊相聚酒吧,一場豪飲,幾聲唏噓,道聲珍重,各奔東西。
尾聲
數月後的GDC 2018,進一步打磨的技術得以正式釋出,動捕技術嘗試和Vicon合作,臉部捕捉進一步進化,找了英國的專業演員,嘗試使用不同的模特驅動,達到了更好的效果。這也就是外部所知的Siren虛擬人。
而我們進行的人物渲染增強,也被整合進了後續4.20的Unreal官方庫中,正式貢獻給行業。
堅持過、奮鬥過的每個團隊,繼續在自己的路上探索、前行。大路朝天,各走一方,也許,將來還會有再交匯的一天。
虛擬人部分全文終。NEXT Studios的故事還將繼續。
作者:顧煜
來源:騰訊遊戲學院
原地址:https://mp.weixin.qq.com/s/aLhpYHxrvbWWSjdPapsdAQ
相關文章
- NEXT Studios的故事——虛擬數字人Siren的誕生(上)iOS
- 虛擬數字人很忙
- NEXT Story——虛擬人(三):渲染
- 虛擬數字人:元宇宙的主角破圈而來(附下載)元宇宙
- 從虛擬到現實:數字孿生與數字樣機的進化之路
- 風格化個人作品《賽博暗影》誕生背後的故事
- 量子位:2021年虛擬數字人深度產業報告(附下載)產業
- 《守望先鋒》新英雄「西格瑪」的誕生故事
- Marketing虛擬數字資源類下載主題
- 虛擬數字人引領企業創新浪潮
- 企業數字人虛擬形象定製解決方案
- 數字化時代NAS儲存的誕生與選擇
- 《怪物獵人》是怎樣誕生的
- 功能遊戲爆款的誕生之路,《家國夢》背後的故事遊戲
- 數字孿生虛擬電廠負荷控制系統視覺化視覺化
- NEXT Studios PS4遊戲《只只大冒險》:模擬兩足機器人,考驗友情的時候又到了iOS遊戲機器人
- 映象:數字時代的自我呈現與虛擬重構
- 15人歷時3個月打造,全球首位數字航天員誕生歷程揭祕!
- 第三方支付(一):概述、起源 | PayPal、支付寶誕生的故事
- 《2023年全球虛擬數字人產業報告》正式釋出,2023ChinaJoy全面助推數字人產業發展!產業
- 【課件】ChatGPT+AI專案實戰,打造多端智慧虛擬數字人ChatGPTAI
- 比特幣的誕生比特幣
- 數字展館中虛擬現實技術的使用優勢
- 數字虛擬人產業要闖關,算力需要元宇宙伺服器產業元宇宙伺服器
- 光學數字孿生系統模擬
- 《Florence》是如何誕生的?
- xxfpmW 的誕生過程
- 數字化轉型背景下精益生產的思考
- 對數字孿生的思考
- “瘋狂”的數字孿生
- 為了做屬於未來的產品,NExT Studios做了哪些準備?iOS
- 步步為營,NExT Studios的新作怎樣把肉鴿遊戲玩出花?iOS遊戲
- “BattleTech”:一個系列遊戲的誕生、衰落與重生(下)BAT遊戲
- 基於模擬的數字孿生系統構建與應用
- 騰訊NExT Studios萬字解讀:我們是怎樣將一款偏硬核的Roguelike遊戲大眾化的?iOS遊戲
- 騰訊互娛NExT Studios聯手新華社打造全球首位數字航天員,將帶你看“天宮”訪“嫦娥”iOS
- 程式的誕生到滅亡
- 一條曲線的誕生