提升遊戲品質的魔法！解析海外發展了20多年的動作捕捉技術丨N.GAME

2022N.GAME網易遊戲開發者峰會於4月18日—21日線上上舉行， 在“技術驅動場”，Quantic Dream動作捕捉總監Benjamin Diebling（本傑明·迪布林）對動作捕捉技術進行了解析。本傑明在分享中詳解了動作捕捉技術的型別、方法、流程及其優劣勢。他指出，儘管動捕看上去是一個複雜和昂貴的流程，但它實際上是製作自然的人形動畫的最好方法，而且時間也是最短的。


以下是分享實錄：

大家好，我是本傑明·迪布林，Quantic Dream的動作捕捉總監，負責現場指導、動捕演員和特技團隊，為我們的遊戲錄製CG和角色動畫。今天，我想和大家聊一聊動作捕捉這門藝術、及其背後的技術，那讓我們開始吧!


Quantic Dream在動捕方面的歷史，可以追溯到90年代中期，我們工作室開發的第一款遊戲叫《惡靈都市》，它是遊戲動作捕捉的先驅了。在當時，我們的遊戲總監和創始人大衛·凱奇用動捕錄製人物軀幹動畫，用於製作戰鬥和動作場景，以及過場動畫。

到了2000年，Quantic Dream決定搭建自己的拍攝場地，我們擁有了獨立的場地，配備了專業攝像機，儘管該技術仍處於起步階段。我們的第二部作品《幻象殺手：靛藍預言》廣泛使用了動捕。

經過多年的發展，通過《暴雨》和《超凡雙生》，我們的動捕裝置換成了全身表演捕捉，可以完整錄製演員表演，而不僅僅是捕捉身體動作。現在，我們幾乎每天都會用到這套裝置，用於我們自己的遊戲以及第三方專案。

動作捕捉的藝術可以分為兩類：第一種捕捉身體動作。這是經典的動捕流程：捕捉身體、胳膊、腿部、頭部，甚至是手指動作。第二種表演捕捉包括面部和聲音的捕捉。


那麼，我們用動作捕捉做些什麼呢？最明顯的答案當然是「CG動畫」 ，這是表演捕捉最常見的用途。演員的完整表演被轉化成遊戲過場動畫，當然，動捕也可以做成軀幹動畫和動作模板。要實現我們遊戲中的角色移動，會有現實中的演員在場地錄製和遊戲中完全相同的動作。然後，我們還負責預告片和電影的動作捕捉。


關於動捕和關鍵幀動畫如何取捨，並沒有所謂的對錯，兩種技術都有自己的優缺點。儘管在Quantic Dream，我們一直傾向於動作和表演捕捉，因為它可以幫我們高效、準確地產出我們想要的效果。有了動作捕捉，可以實時得到結果，減少後期製作工作，它還能完美地匹配演員的表演和導演的構思。我們的遊戲是動畫和故事驅動的，正好看重這些優點，而且我們拍攝現場可以最多同時拍12個人。另一方面，關鍵幀動畫成本更低，但它耗時更長，自然的動畫效果也比較難做好。

因為Quantic Dream不斷在追尋接近現實的效果，工作室早期就對動捕技術進行了投資。Quantic Dream的動捕場地是歐洲最大之一，可以在長寬高11×6×4米的體積中捕捉資料，我們配備了73臺Vicon T160光學攝像機和幾臺參考相機，確保一點細節都不錯過。動作捕捉的基本原理是攝像機記錄演員衣服上的標記點，把身體上的56個標記轉換成空間資料，即使是最微小的身體動作，也能被實時追蹤到。進行表演捕捉的時候，我們會加一個頭盔，上面有頭戴式攝像機和話筒，面部和眼球運動資料會匯入到後期製作軟體進行處理。


而當場地不夠寬的時候，我們還有一套獨立的動捕服，不需要攝像機就可以捕捉三維資料，這個方案沒有那麼精確。但如果我們需要拍攝一個動作場景，比如一個角色遠距離跑動，那這項技術還是可以完美配合我們現場的其他裝置。而操控整個動捕系統，只需要一個人就可以了，當然有一個完整的團隊會更容易。


核心動捕團隊由三個人組成，也可以根據需要增加。我們還有一個道具團隊以及音效和動畫團隊，會和動作捕捉團隊緊密合作。幾乎所有Quantic Dream工作的人，都會時不時和動捕團隊打交道，可以說它就是工作室的心臟！


拍攝過程會從遊戲設計文件開始，由遊戲總監和文案團隊提供，它定義了每個角色要做的各種動作，哪個專案、哪個場景中出現，都寫清楚了。我作為導演，參照這個敘事文件，就可以想象這些角色需要哪些肢體語言，他們的情緒是什麼、動作是怎樣的、能實現哪些運動型別等等。

確定這些之後，就需要篩選演員，然後進入拍攝流程，這些步驟也是固定的。動作捕捉團隊首先要校準光學攝像機，確保訊號同步，系統執行順暢，然後我們給演員穿上特製服裝上面有標記點，接著進行一段規定動作，我們叫「動作範圍」"R.O.M."，類似一段舞蹈，用來校準和求解骨架。骨架就是表示身體軀幹的資料集合，它可以準確反映演員在片場表演的動作。

當這些前置步驟完成後，我們就可以開始拍攝了，交付過程也是非常具體的。一個場景拍完之後，我們會得到一個點陣雲，每個點都是3個光學攝像機記錄到的標記點的空間座標。動捕團隊負責清理這些資料，把它們轉換成骨架關節點，然後再把求解好的骨架發給動畫團隊，動畫團隊將這些資料應用到遊戲角色上。


再簡單介紹一下道具組，我們有一個專門的團隊來製作道具，用來模仿現實生活中的實物感覺。道具形態可以很自由，但上面至少要有4個標記點。對這些道具的唯一要求就是，儘可能地接近遊戲中的3D資源，比如角色在打電話，或者在開車，那麼道具必須符合手機或汽車方向盤的尺寸。道具還可以用來模擬場景中的三維空間，讓演員要在特定的空間內移動，比方說角色要穿過一個滿是傢俱的房間，那麼現場需要複製房間和傢俱，讓演員可以根據美術和關卡設計同事的設想進行移動。


現在，你瞭解了我們的技術還有我們動作捕捉的流程，讓我們回答一些常見問題吧。

不同的動作捕捉有什麼區別？遊戲和視訊/預告片/電影動捕有什麼不同嗎？

本傑明：事實上基本沒有。比如我們Quantic Dream，我們的場地可以拍視訊、預告片、電影和遊戲，從創作和技術的角度來說是完全一樣的。

對於非人形/動物的動作捕捉 有什麼比較好的方案嗎？行業和學介面臨的主要挑戰是什麼？

本傑明：我們的動捕舞臺可以捕捉各種東西，大象、老鼠、蜘蛛 等等，我們可以捕捉一切，所以這個問題，我們更多考慮的是 "想不想捕捉一切"，作為導演，我覺得人肯定比大象更容易動捕。

那不同的動畫風格需要不同的動捕技術嗎？

本傑明：並不需要，舞臺風格更多的是選角問題而不是技術問題。製作不同的動畫風格，需要的技術是完全相同的。

捕捉資料時，我們可以做些什麼來提高準確性？

本傑明：其實我們拍攝的所有東西都達到了相同的質量水平。比如我們拍攝動作模板，或者拍攝一連串動作序列產出的結果和質量水平都是相同的。

怎麼指導動捕演員來取得更好的效果？

本傑明：這其實就是我的工作。作為導演，我會指導動捕拍攝現場，就像拍電影或演舞臺劇一樣，我會為演員和表演者營造良好的情感氛圍。還有一個建議，在挑選演員或表演者時，最好找一個和角色個性DNA相似的人。

動作捕捉團隊可以做些什麼，在遊戲早期製作過程中來提升遊戲的美術效果？

本傑明：這是個蠻有趣的問題！這些都需要縝密的規劃，提前準備就是訣竅。當你到了動捕舞臺上，如果你準備得很充分，你就可以在舞臺上即興創作和表演，但如果你沒有準備，你沒有一個好的規劃，一切都是混亂的，那製作效果肯定就不太好了。所以要做好準備，提前規劃和安排。


總結

最後總結一下，儘管動捕看上去是一個複雜和昂貴的流程，但它實際上是製作自然的人形動畫的最好方法，而且時間也是最短的。現實中人可以做到的動作，通過這種技術，都可以復現到遊戲動畫中。而且我們可以實時拍攝了，無論動畫需要是多麼複雜。

當然，動作捕捉和表演捕捉也是還原遊戲設計師構想的最佳方式，真人表演會給動畫加入額外的靈魂火花，在動捕片場說的話做的動作，都可以變成遊戲動畫，這就是為什麼我們的遊戲有一種人性和自然的感覺。只要有一個好故事和強有力的藝術指導，即使是天馬行空的想象，我們也可以把它變成現實。

感謝大家的關注，希望這個動作捕捉技術的介紹對你有幫助！再見！

N.GAME是由網易互娛學習發展舉辦的一年一度行業交流盛事，至今已成功舉辦七屆。本屆主題為“未來已來The Future Is Now”，邀請了20位海內外重磅嘉賓、高校學者匯聚一堂，共享行業研發經驗、前沿研究成果和未來發展趨勢。