提升遊戲品質的魔法!解析海外發展了20多年的動作捕捉技術丨N.GAME
2022N.GAME網易遊戲開發者峰會於4月18日—21日線上上舉行, 在“技術驅動場”,Quantic Dream動作捕捉總監Benjamin Diebling(本傑明·迪布林)對動作捕捉技術進行了解析。本傑明在分享中詳解了動作捕捉技術的型別、方法、流程及其優劣勢。他指出,儘管動捕看上去是一個複雜和昂貴的流程,但它實際上是製作自然的人形動畫的最好方法,而且時間也是最短的。
以下是分享實錄:
大家好,我是本傑明·迪布林,Quantic Dream的動作捕捉總監,負責現場指導、動捕演員和特技團隊,為我們的遊戲錄製CG和角色動畫。今天,我想和大家聊一聊動作捕捉這門藝術、及其背後的技術,那讓我們開始吧!
Quantic Dream在動捕方面的歷史,可以追溯到90年代中期,我們工作室開發的第一款遊戲叫《惡靈都市》,它是遊戲動作捕捉的先驅了。在當時,我們的遊戲總監和創始人大衛·凱奇用動捕錄製人物軀幹動畫,用於製作戰鬥和動作場景,以及過場動畫。
到了2000年,Quantic Dream決定搭建自己的拍攝場地,我們擁有了獨立的場地,配備了專業攝像機,儘管該技術仍處於起步階段。我們的第二部作品《幻象殺手:靛藍預言》廣泛使用了動捕。
經過多年的發展,透過《暴雨》和《超凡雙生》,我們的動捕裝置換成了全身表演捕捉,可以完整錄製演員表演,而不僅僅是捕捉身體動作。現在,我們幾乎每天都會用到這套裝置,用於我們自己的遊戲以及第三方專案。
動作捕捉的藝術可以分為兩類:第一種捕捉身體動作。這是經典的動捕流程:捕捉身體、胳膊、腿部、頭部,甚至是手指動作。第二種表演捕捉包括面部和聲音的捕捉。
那麼,我們用動作捕捉做些什麼呢?最明顯的答案當然是「CG動畫」 ,這是表演捕捉最常見的用途。演員的完整表演被轉化成遊戲過場動畫,當然,動捕也可以做成軀幹動畫和動作模板。要實現我們遊戲中的角色移動,會有現實中的演員在場地錄製和遊戲中完全相同的動作。然後,我們還負責預告片和電影的動作捕捉。
關於動捕和關鍵幀動畫如何取捨,並沒有所謂的對錯,兩種技術都有自己的優缺點。儘管在Quantic Dream,我們一直傾向於動作和表演捕捉,因為它可以幫我們高效、準確地產出我們想要的效果。有了動作捕捉,可以實時得到結果,減少後期製作工作,它還能完美地匹配演員的表演和導演的構思。我們的遊戲是動畫和故事驅動的,正好看重這些優點,而且我們拍攝現場可以最多同時拍12個人。另一方面,關鍵幀動畫成本更低,但它耗時更長,自然的動畫效果也比較難做好。
因為Quantic Dream不斷在追尋接近現實的效果,工作室早期就對動捕技術進行了投資。Quantic Dream的動捕場地是歐洲最大之一,可以在長寬高11×6×4米的體積中捕捉資料,我們配備了73臺Vicon T160光學攝像機和幾臺參考相機,確保一點細節都不錯過。動作捕捉的基本原理是攝像機記錄演員衣服上的標記點,把身體上的56個標記轉換成空間資料,即使是最微小的身體動作,也能被實時追蹤到。進行表演捕捉的時候,我們會加一個頭盔,上面有頭戴式攝像機和話筒,面部和眼球運動資料會匯入到後期製作軟體進行處理。
而當場地不夠寬的時候,我們還有一套獨立的動捕服,不需要攝像機就可以捕捉三維資料,這個方案沒有那麼精確。但如果我們需要拍攝一個動作場景,比如一個角色遠距離跑動,那這項技術還是可以完美配合我們現場的其他裝置。而操控整個動捕系統,只需要一個人就可以了,當然有一個完整的團隊會更容易。
核心動捕團隊由三個人組成,也可以根據需要增加。我們還有一個道具團隊以及音效和動畫團隊,會和動作捕捉團隊緊密合作。幾乎所有Quantic Dream工作的人,都會時不時和動捕團隊打交道,可以說它就是工作室的心臟!
拍攝過程會從遊戲設計文件開始,由遊戲總監和文案團隊提供,它定義了每個角色要做的各種動作,哪個專案、哪個場景中出現,都寫清楚了。我作為導演,參照這個敘事文件,就可以想象這些角色需要哪些肢體語言,他們的情緒是什麼、動作是怎樣的、能實現哪些運動型別等等。
確定這些之後,就需要篩選演員,然後進入拍攝流程,這些步驟也是固定的。動作捕捉團隊首先要校準光學攝像機,確保訊號同步,系統執行順暢,然後我們給演員穿上特製服裝上面有標記點,接著進行一段規定動作,我們叫「動作範圍」"R.O.M.",類似一段舞蹈,用來校準和求解骨架。骨架就是表示身體軀幹的資料集合,它可以準確反映演員在片場表演的動作。
當這些前置步驟完成後,我們就可以開始拍攝了,交付過程也是非常具體的。一個場景拍完之後,我們會得到一個點陣雲,每個點都是3個光學攝像機記錄到的標記點的空間座標。動捕團隊負責清理這些資料,把它們轉換成骨架關節點,然後再把求解好的骨架發給動畫團隊,動畫團隊將這些資料應用到遊戲角色上。
再簡單介紹一下道具組,我們有一個專門的團隊來製作道具,用來模仿現實生活中的實物感覺。道具形態可以很自由,但上面至少要有4個標記點。對這些道具的唯一要求就是,儘可能地接近遊戲中的3D資源,比如角色在打電話,或者在開車,那麼道具必須符合手機或汽車方向盤的尺寸。道具還可以用來模擬場景中的三維空間,讓演員要在特定的空間內移動,比方說角色要穿過一個滿是傢俱的房間,那麼現場需要複製房間和傢俱,讓演員可以根據美術和關卡設計同事的設想進行移動。
現在,你瞭解了我們的技術還有我們動作捕捉的流程,讓我們回答一些常見問題吧。
不同的動作捕捉有什麼區別?遊戲和影片/預告片/電影動捕有什麼不同嗎?
本傑明:事實上基本沒有。比如我們Quantic Dream,我們的場地可以拍影片、預告片、電影和遊戲,從創作和技術的角度來說是完全一樣的。
對於非人形/動物的動作捕捉 有什麼比較好的方案嗎?行業和學介面臨的主要挑戰是什麼?
本傑明:我們的動捕舞臺可以捕捉各種東西,大象、老鼠、蜘蛛 等等,我們可以捕捉一切,所以這個問題,我們更多考慮的是 "想不想捕捉一切",作為導演,我覺得人肯定比大象更容易動捕。
那不同的動畫風格需要不同的動捕技術嗎?
本傑明:並不需要,舞臺風格更多的是選角問題而不是技術問題。製作不同的動畫風格,需要的技術是完全相同的。
捕捉資料時,我們可以做些什麼來提高準確性?
本傑明:其實我們拍攝的所有東西都達到了相同的質量水平。比如我們拍攝動作模板,或者拍攝一連串動作序列產出的結果和質量水平都是相同的。
怎麼指導動捕演員來取得更好的效果?
本傑明:這其實就是我的工作。作為導演,我會指導動捕拍攝現場,就像拍電影或演舞臺劇一樣,我會為演員和表演者營造良好的情感氛圍。還有一個建議,在挑選演員或表演者時,最好找一個和角色個性DNA相似的人。
動作捕捉團隊可以做些什麼,在遊戲早期製作過程中來提升遊戲的美術效果?
本傑明:這是個蠻有趣的問題!這些都需要縝密的規劃,提前準備就是訣竅。當你到了動捕舞臺上,如果你準備得很充分,你就可以在舞臺上即興創作和表演,但如果你沒有準備,你沒有一個好的規劃,一切都是混亂的,那製作效果肯定就不太好了。所以要做好準備,提前規劃和安排。
總結
最後總結一下,儘管動捕看上去是一個複雜和昂貴的流程,但它實際上是製作自然的人形動畫的最好方法,而且時間也是最短的。現實中人可以做到的動作,透過這種技術,都可以復現到遊戲動畫中。而且我們可以實時拍攝了,無論動畫需要是多麼複雜。
當然,動作捕捉和表演捕捉也是還原遊戲設計師構想的最佳方式,真人表演會給動畫加入額外的靈魂火花,在動捕片場說的話做的動作,都可以變成遊戲動畫,這就是為什麼我們的遊戲有一種人性和自然的感覺。只要有一個好故事和強有力的藝術指導,即使是天馬行空的想象,我們也可以把它變成現實。
感謝大家的關注,希望這個動作捕捉技術的介紹對你有幫助!再見!
N.GAME是由網易互娛學習發展舉辦的一年一度行業交流盛事,至今已成功舉辦七屆。本屆主題為“未來已來The Future Is Now”,邀請了20位海內外重磅嘉賓、高校學者匯聚一堂,共享行業研發經驗、前沿研究成果和未來發展趨勢。
以下是分享實錄:
大家好,我是本傑明·迪布林,Quantic Dream的動作捕捉總監,負責現場指導、動捕演員和特技團隊,為我們的遊戲錄製CG和角色動畫。今天,我想和大家聊一聊動作捕捉這門藝術、及其背後的技術,那讓我們開始吧!
Quantic Dream在動捕方面的歷史,可以追溯到90年代中期,我們工作室開發的第一款遊戲叫《惡靈都市》,它是遊戲動作捕捉的先驅了。在當時,我們的遊戲總監和創始人大衛·凱奇用動捕錄製人物軀幹動畫,用於製作戰鬥和動作場景,以及過場動畫。
到了2000年,Quantic Dream決定搭建自己的拍攝場地,我們擁有了獨立的場地,配備了專業攝像機,儘管該技術仍處於起步階段。我們的第二部作品《幻象殺手:靛藍預言》廣泛使用了動捕。
經過多年的發展,透過《暴雨》和《超凡雙生》,我們的動捕裝置換成了全身表演捕捉,可以完整錄製演員表演,而不僅僅是捕捉身體動作。現在,我們幾乎每天都會用到這套裝置,用於我們自己的遊戲以及第三方專案。
動作捕捉的藝術可以分為兩類:第一種捕捉身體動作。這是經典的動捕流程:捕捉身體、胳膊、腿部、頭部,甚至是手指動作。第二種表演捕捉包括面部和聲音的捕捉。
那麼,我們用動作捕捉做些什麼呢?最明顯的答案當然是「CG動畫」 ,這是表演捕捉最常見的用途。演員的完整表演被轉化成遊戲過場動畫,當然,動捕也可以做成軀幹動畫和動作模板。要實現我們遊戲中的角色移動,會有現實中的演員在場地錄製和遊戲中完全相同的動作。然後,我們還負責預告片和電影的動作捕捉。
關於動捕和關鍵幀動畫如何取捨,並沒有所謂的對錯,兩種技術都有自己的優缺點。儘管在Quantic Dream,我們一直傾向於動作和表演捕捉,因為它可以幫我們高效、準確地產出我們想要的效果。有了動作捕捉,可以實時得到結果,減少後期製作工作,它還能完美地匹配演員的表演和導演的構思。我們的遊戲是動畫和故事驅動的,正好看重這些優點,而且我們拍攝現場可以最多同時拍12個人。另一方面,關鍵幀動畫成本更低,但它耗時更長,自然的動畫效果也比較難做好。
因為Quantic Dream不斷在追尋接近現實的效果,工作室早期就對動捕技術進行了投資。Quantic Dream的動捕場地是歐洲最大之一,可以在長寬高11×6×4米的體積中捕捉資料,我們配備了73臺Vicon T160光學攝像機和幾臺參考相機,確保一點細節都不錯過。動作捕捉的基本原理是攝像機記錄演員衣服上的標記點,把身體上的56個標記轉換成空間資料,即使是最微小的身體動作,也能被實時追蹤到。進行表演捕捉的時候,我們會加一個頭盔,上面有頭戴式攝像機和話筒,面部和眼球運動資料會匯入到後期製作軟體進行處理。
而當場地不夠寬的時候,我們還有一套獨立的動捕服,不需要攝像機就可以捕捉三維資料,這個方案沒有那麼精確。但如果我們需要拍攝一個動作場景,比如一個角色遠距離跑動,那這項技術還是可以完美配合我們現場的其他裝置。而操控整個動捕系統,只需要一個人就可以了,當然有一個完整的團隊會更容易。
核心動捕團隊由三個人組成,也可以根據需要增加。我們還有一個道具團隊以及音效和動畫團隊,會和動作捕捉團隊緊密合作。幾乎所有Quantic Dream工作的人,都會時不時和動捕團隊打交道,可以說它就是工作室的心臟!
拍攝過程會從遊戲設計文件開始,由遊戲總監和文案團隊提供,它定義了每個角色要做的各種動作,哪個專案、哪個場景中出現,都寫清楚了。我作為導演,參照這個敘事文件,就可以想象這些角色需要哪些肢體語言,他們的情緒是什麼、動作是怎樣的、能實現哪些運動型別等等。
確定這些之後,就需要篩選演員,然後進入拍攝流程,這些步驟也是固定的。動作捕捉團隊首先要校準光學攝像機,確保訊號同步,系統執行順暢,然後我們給演員穿上特製服裝上面有標記點,接著進行一段規定動作,我們叫「動作範圍」"R.O.M.",類似一段舞蹈,用來校準和求解骨架。骨架就是表示身體軀幹的資料集合,它可以準確反映演員在片場表演的動作。
當這些前置步驟完成後,我們就可以開始拍攝了,交付過程也是非常具體的。一個場景拍完之後,我們會得到一個點陣雲,每個點都是3個光學攝像機記錄到的標記點的空間座標。動捕團隊負責清理這些資料,把它們轉換成骨架關節點,然後再把求解好的骨架發給動畫團隊,動畫團隊將這些資料應用到遊戲角色上。
再簡單介紹一下道具組,我們有一個專門的團隊來製作道具,用來模仿現實生活中的實物感覺。道具形態可以很自由,但上面至少要有4個標記點。對這些道具的唯一要求就是,儘可能地接近遊戲中的3D資源,比如角色在打電話,或者在開車,那麼道具必須符合手機或汽車方向盤的尺寸。道具還可以用來模擬場景中的三維空間,讓演員要在特定的空間內移動,比方說角色要穿過一個滿是傢俱的房間,那麼現場需要複製房間和傢俱,讓演員可以根據美術和關卡設計同事的設想進行移動。
現在,你瞭解了我們的技術還有我們動作捕捉的流程,讓我們回答一些常見問題吧。
不同的動作捕捉有什麼區別?遊戲和影片/預告片/電影動捕有什麼不同嗎?
本傑明:事實上基本沒有。比如我們Quantic Dream,我們的場地可以拍影片、預告片、電影和遊戲,從創作和技術的角度來說是完全一樣的。
對於非人形/動物的動作捕捉 有什麼比較好的方案嗎?行業和學介面臨的主要挑戰是什麼?
本傑明:我們的動捕舞臺可以捕捉各種東西,大象、老鼠、蜘蛛 等等,我們可以捕捉一切,所以這個問題,我們更多考慮的是 "想不想捕捉一切",作為導演,我覺得人肯定比大象更容易動捕。
那不同的動畫風格需要不同的動捕技術嗎?
本傑明:並不需要,舞臺風格更多的是選角問題而不是技術問題。製作不同的動畫風格,需要的技術是完全相同的。
捕捉資料時,我們可以做些什麼來提高準確性?
本傑明:其實我們拍攝的所有東西都達到了相同的質量水平。比如我們拍攝動作模板,或者拍攝一連串動作序列產出的結果和質量水平都是相同的。
怎麼指導動捕演員來取得更好的效果?
本傑明:這其實就是我的工作。作為導演,我會指導動捕拍攝現場,就像拍電影或演舞臺劇一樣,我會為演員和表演者營造良好的情感氛圍。還有一個建議,在挑選演員或表演者時,最好找一個和角色個性DNA相似的人。
動作捕捉團隊可以做些什麼,在遊戲早期製作過程中來提升遊戲的美術效果?
本傑明:這是個蠻有趣的問題!這些都需要縝密的規劃,提前準備就是訣竅。當你到了動捕舞臺上,如果你準備得很充分,你就可以在舞臺上即興創作和表演,但如果你沒有準備,你沒有一個好的規劃,一切都是混亂的,那製作效果肯定就不太好了。所以要做好準備,提前規劃和安排。
總結
最後總結一下,儘管動捕看上去是一個複雜和昂貴的流程,但它實際上是製作自然的人形動畫的最好方法,而且時間也是最短的。現實中人可以做到的動作,透過這種技術,都可以復現到遊戲動畫中。而且我們可以實時拍攝了,無論動畫需要是多麼複雜。
當然,動作捕捉和表演捕捉也是還原遊戲設計師構想的最佳方式,真人表演會給動畫加入額外的靈魂火花,在動捕片場說的話做的動作,都可以變成遊戲動畫,這就是為什麼我們的遊戲有一種人性和自然的感覺。只要有一個好故事和強有力的藝術指導,即使是天馬行空的想象,我們也可以把它變成現實。
感謝大家的關注,希望這個動作捕捉技術的介紹對你有幫助!再見!
N.GAME是由網易互娛學習發展舉辦的一年一度行業交流盛事,至今已成功舉辦七屆。本屆主題為“未來已來The Future Is Now”,邀請了20位海內外重磅嘉賓、高校學者匯聚一堂,共享行業研發經驗、前沿研究成果和未來發展趨勢。
相關文章
- Tristan Donovan:遊戲開發團隊運用動作捕捉技術的10個要點遊戲開發
- 建立下個時代的高畫質遊戲美術資源生產管線(七):動作捕捉遊戲
- KEMET新型電容器推動了電動汽車技術的發展
- 如何定義遊戲的動作風格——品質感篇遊戲
- VR眼動捕捉技術落地 FOVE推出眼動捕捉應用VR
- 網易遊戲周家科:從體驗推進遊戲美術設計丨N.GAME遊戲GAM
- Topaz Photo AI:用AI技術,提升圖片品質 mac/win版AIMac
- 一百多年了,電動汽車底盤技術智慧化得怎麼樣了?
- 防火牆產品的技術現狀及發展趨勢防火牆
- PIL派鏈開發丨PIL質押挖礦系統開發技術丨PIL派鏈開發技術示例
- N.GAME丨網易互娛AI Lab技術主管曾廣俊:讓遊戲更智慧——強化學習在互娛遊戲的落地GAMAI遊戲強化學習
- 前端開發技術的發展前端
- 容器技術的發展前景
- Solidity技術丨PRT普瑞緹ProTradex系統技術開發丨質押挖礦開發詳情Solid
- 技術團隊運用度量驅動開發提升質量:策略與實踐
- 質押DAPP專案系統開發技術方案丨Defi質押挖礦系統開發技術方案APP
- IT技術發展
- 成功技術人士必需具備的7大品質
- 2016年WiFi行業技術發展趨勢解析WiFi行業
- DeFi丨LP質押流動性挖礦系統設計開發技術分析
- 技術人員的發展之路
- 垃圾回收技術的發展(轉)
- 雜湊遊戲系統技術開發丨雜湊單雙競猜遊戲原始碼丨雜湊遊戲程式設計技術遊戲原始碼程式設計
- DeFi丨NFT質押借貸質押系統模式開發功能技術分析模式
- 名越稔洋:具有文化特色的遊戲如何打入全球市場丨N.GAME遊戲GAM
- 互動多媒體技術的發展對展廳設計的幫助
- Android開發多年每天Crud不清楚自己的技術?來刷刷大廠的高階技術面試題就知道了Android面試題
- 3A遊戲的必備工藝! 天美是如何將動作捕捉運用到遊戲中的?遊戲
- Web開發技術未來的發展Web
- 七、資料庫技術的發展及新技術資料庫
- 高品質的遊戲美術如何生產?來看看鵝廠的美術開發工作流遊戲
- 解析AI人工智慧:浪潮、技術、應用發展AI人工智慧
- 2019中國移動遊戲產業發展報告(產品篇)遊戲產業
- NFT鏈遊卡牌遊戲系統技術開發示例丨NFT卡牌丨鏈遊遊戲丨Dapp遊戲APP
- 這個發展了14年的系列完結了 美少女橫版動作遊戲依然還有巨大潛力遊戲
- CDN技術發展
- 淘寶技術發展
- 切片技術發展