騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

遊資網發表於2020-12-11
在今年騰訊遊戲學院舉辦的第四屆騰訊遊戲開發者大會(Tencent GameDevelopers Conference,簡稱 TGDC)上,來自騰訊互動娛樂光子技術中心的Kevin Wang,擔任Lead Motion Technician,他曾經參與《阿凡達》《戰神》《最後生還者》等超過 50 多款遊戲與主機遊戲製作,在本次大會上他揭祕動作捕捉在遊戲中的開發與應用。以下是分享分錄:

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

大家好,我的名字叫做 Kevin Wang。今天跟大家稍微聊一聊,動捕的相關資訊。在今天開始我們的話題之前,我想要跟大家一起看一段影片。

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

這是一個關於什麼樣的視訊呢?看起來有點粗糙,又有點複雜,對嗎?其實,如果你有反光球,與紅外線相機,要做出上面這一系列看到的動畫,其實並不是個難事。那今天,讓我們進入到我們的主題《動捕》。

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

在動捕開始之前,我先稍微做一下自我的介紹。我的名字叫做Kevin Wang,我在動捕界已經做了有超過20多年的經驗,我有做過電影比如說《阿凡達》,遊戲類產品比如說《死亡擱淺》《戰神》《最後生還者》等等。讓我們進入今天的話題。

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

動捕在遊戲開發中的價值點

我規劃了以下的五個不同的專案:

第一點,節省人力、時間與開銷。大家想一想,今天如果我們有一款遊戲要用手K的方式去呈現出我們所有的動畫,比如說我們要做200分鐘的動畫,可能需要請到大概七八個動畫師,花費比如說半年的時間,然後以手K的方式去把它呈現出來。那如果以動捕的方式去做的話,我們也許只需要兩天到三天左右的時間,就可以錄取這200分鐘的動畫,然後把這些動畫轉移到3D角色上面。做出一系列後續的細節上面的清理,也許只需要花大概一個月不到的時間,我們就可以達到相同的效果,甚至於更逼真的動作。所以說整體上來講,這是一個節省人力、時間與開銷的事情。

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

第二點,以最快的方式呈現實時的概念。剛剛看到的那一段影片裡面,基本上就呈現出了這第二點的意思。我們導演腦中有一個想法,說今天我的這個預告片要怎麼個拍法,怎麼樣剪接方法,鏡頭怎麼個架設方式,之後請演員去把它演繹出來,讓導演能夠去拍攝這些鏡頭,之後去做出剪接,這一整個的過程。大家看到那個影片從剪接、拍攝到最後的Blocking,把這些鏡頭切在一起,這一整個週期可能只花了一個星期不到的時間就可以完成。

第三點,可以用相同的資料拍攝不同的鏡頭。大家想想看,我們做動捕比如說有兩個人在演對手戲,那麼可以把他的動作,捕捉到電腦裡面,之後如果想要去拍這些鏡頭的時候,我們可以很快地把捕捉下來的這些動作播放出來,再實時地去搭建我們要拍的鏡頭,所以說這是一個非常省時的方式。那如果是在一個電影的場景裡面用真人去拍攝的話,如果要搭建這麼多個鏡頭,演員肯定要重新地去演繹這個場景,可能要演繹個很多次,但每一次演繹下來,也許中間都會有少許的差別,所以說這是另外一個動捕的優點。

第四點,可以利用多個角色去當替身。今天我們看到照片裡的《死亡擱淺》的主角,比如說Norman Reedus他實際上在動捕場地裡面拍攝的這些動作,可能只有大概5分鐘到10分鐘,其他所有額外的這些動作是我們請不同的替身來拍攝的。之後把這些資料再轉移到他的角色上面,那中間也許有大概三到四個不同的人去演繹他的角色,所以說我們可以利用多個替身去達到相同的效果。

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

第五點,動捕讓細節更為逼真。如果以手K的方式去做動畫,最困難的其實是怎麼樣去看個人的施力點與受力點。舉個例子,比如我們站久了,我們有的時候人會往一邊傾,比如說把力量放在左腳。那左腳站久了以後也會歪一邊,力量換到右腳。那中間這個取力與卸力的過程,其實是在手K裡面,比較難展現出來的地方。

這些是我規劃出的五小點,動捕在遊戲開發中的價值。接下來我們來看看今天要講的一些五大專案的事情。

市面上比較常見的動捕硬體分類

第一型別,電磁類。電磁類的運作方式是它有一箇中央磁鐵,然後與很多不同的接收器在這個演員的身上,這個接收器其實是繫結在他這一套動捕服的上面。所以說基本上你只要把這些接收器調到應該調的位置,你就可以去進行很好的拍攝。

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

好:

方便使用,因為你衣服穿上去接收器稍微移一下,你就可以開始拍攝了。

成本低,這一套衣服大約2000到3000塊美金。

不受場地大小的限制,可以在家裡,比如客廳就可以拍攝出一系列的動作。

不好:

動捕衣服的尺寸不同。如果說要拍一個男的有六尺高,基本上這套衣服他是穿不下了,我們需要買另外一套全新的動捕服。那有的人胖、有的人瘦,有的人高、有的人矮,有男有女,所以說基本上我們如果要拍多個不同的角色,我們需要買很多套不同的衣服。

無法捕捉道具。大家可以看到,現在這套衣服身上所有的這些接收器,都是由線去連線到它的中央磁鐵的。所以說我們並沒有辦法去拿任何不同的道具,把額外的接收器連在這個道具上面,所以這是沒有辦法去實現的。

那這一套電磁類的衣服最好展現的方式就是一個proof of concept。我們現在有個想法,不需要很乾淨的資料,我們來試試看,這個動捕下來的資料,跟我們鏡頭裡面的拍攝就是能達到一個比較好的效果,我們先試著去看一下。用這一套衣服,我覺得是一個很好的選擇。

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

第二型別,光學類。光學類就是之前我們在影片裡面所看到的那一套系統。這一套系統運作的方式,大家可以看到在上面有很多臺不同紅色的紅外線相機,這些相機它唯一能夠擷取到相機裡面的資料,其實只有這個反光球的球點,基本上它是看不到整個人的。

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

這個反光球是一個非常軟的塑膠的球做成的。基於在很多動捕的時候,我們會請演員,比如說在地上滾這些東西。如果這些反光球比較硬它會壓著,比如說會受傷等等,所以說我們選擇了軟的反光球。另外一點,這個動捕光學的硬體,它有好處,也有壞處。

好:

第一點,它因為場地大,所以可以拍很多個人同時地做一些事情,比如說可以拍6到7個人,這是沒有問題的事情。基於這個場地夠大,我們想要拍狗,想要拍馬這些,都是沒有問題的。

第二點,它可以拍攝不同大小形的道具。像我們剛剛看到電磁類的系統無法拍攝道具,那如果有刀有槍,比如說現在在照片裡面有斧頭、有盾牌這些東西,我們都可以在這些道具上面上不同的反光球,讓這些紅外線的攝像機去追蹤這些反光球的點,之後去計算出這些武器,或者道具所在的位置點。

不好:

第一點,這整套的硬體非常昂貴,大概3、40萬美金左右,然後還需要租一個專門拍攝的大場地。

第二點,因為後置,要花很多的時間。剛剛我們有聊到所謂反光球被遮擋,就是這些攝像頭看不到的話,我們要怎麼樣在後置裡面去把這些反光球重新地找出來,去定位它,我們才能夠把整個資料,做一個非常完美地轉移。

動捕的迷思

接下來看一下動捕的迷思。這是過去我大概15、20年來,碰到一些人問我的問題。現在我跟大家稍微解釋一下。

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

第一點,資料拍攝完可以馬上進引擎?這一點其實是不對的,因為我們請來的演員,與實際上3D的角色,通常都是不會1:1。比如說請來的演員,過高還是過瘦,那我們的角色,也許比較矮,也許比較壯,所以說這些東西都會產生不同的資料在演員身上。導致於就是說,我們之後要做這些資料上的清理,你想要它馬上進引擎也是可以,只是這個資料來說不是一個非常乾淨的一個結果。如果拍攝一個比較壯的人,我們想把這個資料放在比較瘦的人的身上,當這個壯的人比如說手碰肩膀還是說叉腰,在一個比較瘦的人的資料上,看起來就會他的手臂沒有叉在腰上,因為演員身體的寬度是這麼寬,3D角色的身體其實只有這麼窄。所以說我們需要去做後續的調整、清理手指的這些觸碰的地方,之後才能夠進引擎。

第二點,所有輸出的動作都會與演員無差?就像我剛剛所解釋的,基於演員與我們3D角色身材、身高上的不同,所以這些資料還是會有些許的差別。

第三點,道具要以真實的道具為主?這也不是一個真實的東西。以槍械來講好了,比如我們拿一把衝鋒槍,這把槍非常得重。如果我們要請演員拿一把槍,然後做出不同的演繹。一天下來,他其實會非常非常地累。所以通常我們會以一個塑膠管,包一些膠帶,裡面包了一些軟棉,讓它去演繹出槍的效果。如果導演說我們要拍一個cinematic的場景,想要去展現出這個槍的重量,我們會給演員一個真實重量的槍,可是一把假槍讓他能夠去演繹出這把槍的重量。

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

第四點,如果用了動捕,就不需要動畫師去手K了?其實這也是一個完全錯誤的觀念。第一點是因為今天不是所有的東西都可以用來做動捕。比如說我們今天有一張紙好了,因為紙會飄,所以我們把反光球上上去的時候,它也沒有辦法很容易地去固定,做一個Rigid body反光球的點。再加上比如車子、飛機這些東西,都比較難去達到動捕的效果,所以還是需要動畫師之後去加強這些動作,然後去手K做出這些無法動捕的動作。再到之後的程度,我們做出臉部的動捕、身體的動捕,這些資料上的清理還是需要動畫師的幫忙,去完成這一系列的資料。

動捕的準備與拍攝的過程

這是動捕準備的經驗之談,我通常會在開拍的兩個星期之前,問一下客戶,你們想要拍什麼樣的動作、與我們需要準備什麼樣的道具、搭建一些什麼樣的場景。那基本上我會在這兩個星期之內,在客戶來之前準備好所有需要搭建的道具,測試好所有需要用的道具是不是都能夠可行。之後當客戶來的時候,不會浪費他們拍攝的時間,因為我們把這些工作之前已經做好了。

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

大家現在可以看一下這個影片是在索尼的場地裡面拍攝的一個高難度的特技動作。在之前我們搭大型場景的時候,發現搭起來都沒有問題,可是當演員真的上去開始跑了,跳起來之後,我們發現這整個架子搖晃得很厲害。所以我們當下馬上發現需要去固定這個東西,固定它的方法是找一個更重的東西去繫結它,所以我們拉了這一臺升降機過來,綁在這個架子上面,讓它能夠比較固定地定位在這邊,讓演員不會覺得這是一個會受傷的場景。所以說我們需要有非常好的應變能力與想象力,才能夠在最短的時間之內達到最完美的要求。

在接下來我們看到的是拍攝的時候。我們現在準備好了之前要拍的道具,團隊來到現場準備要拍攝了,那我們要做些什麼動作呢?

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

第一個,要做Calibration光學攝像機的校正。在拍攝的動捕場地裡面有很多不同的攝像頭,我們怎麼樣去定位這些攝像頭的點,讓我們的軟體比如說相機一二三四五,它們所在的位置點是在哪裡,那我們就只有用這個Calibration的方式。我們會拿一個叫做反光球的棒子,在拍攝場地裡面不停地上下左右揮動,讓每一臺紅外線攝像機都能夠擷取到這些反光球的動作。當這些資料夠了之後,在軟體裡面,它可以明確地計算出每一個攝像頭所在的位置,之後我們才能夠進行拍攝。

可如果說有人來場地不小心碰到這個攝像頭的話,那我們肯定要重新地去校正整個Calibration的過程。所以在拍攝的當下通常是建議大家不要穿反光的衣服或者是鞋子,另外大家儘量不要靠近放這些攝像頭角架的位置。

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

第二點,Calibration之後上反光球Markers。這些反光球基本上會固定於演員各個關節上面的點,比如肩膀、手肘、手腕這些地方。那動捕的軟體可以很明確地去計算出,比如肩膀到手肘、手背這一邊的點,這個動作是屬於這一塊的。反光球所在的所有位置,也是一個非常重要的事情,如果你把反光球沒有上好它該上的位置,那可能得不到比較好的資料。

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

講一個比較簡單的例子,比如這個反光球放在肩膀的這一邊,肩膀如果上下這種移動方式,可以看到其實它的移動量並不大。可如果往外面這邊放,再上下移動的話,它動作會比較大。所以你需要達到什麼樣的效果,我們會怎麼樣去調整這個反光球所在的位置。

第三點,RoM (Range of motion)關節的活動拍攝。我們會請演員在開拍之前,先把它所有的關節先活動一遍,這個軟體,這個人整個關節的活動度有多大,以軟體計算出他整個人彎曲所有手腕,這些能夠達到的位置,之後我們也會用這一系列的資料去匹配。把這些動作放到3D角色上面,用真實在場地裡面拍攝的這個影片做一個對比,看看怎麼以最好的方式去把3D的角色匹配到Video Reference上面。

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

第四點,大型動捕室的道具需求。左上角這些照片就是我剛剛所講的不同的槍械需要不同的重量,右上角這些不同顏色的膠帶就是說今天我們有不同的場景。比如說左邊是條河,右邊是個山,你只有這麼細的道路可以走。那我們會用膠帶去貼出這個道路的位置,讓演員知道我不能走出這個範圍之外。那不同的顏色代表不同的場景、不同的道具。

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

左下角是在《神祕海域》裡面的吉普車,這是我們搭建出來的。右下角就是剛剛大家所看到的那個影片,就是不穩定的搭出來的道具。

現在基於以上講解這些東西,讓大家稍微看一下動捕片場的拍攝過程,能夠有一個更明確的瞭解。大家看到這些攝像機,就是架在動捕室裡面的各個方向。

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

現在就是在搭建剛剛所看到的那一臺吉普車,這是幕後的拍攝人員、工作人員。現在他就是在做這個關節的活動,讓系統能夠知道他的活動範圍有多大。

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

這實際上看他的反光球點,現在給他們戴上麥克風去收音。這是動捕的拍攝,大家看到這些槍就是我剛剛講的以塑膠管的方式去呈現 。

動捕的後置流程

我們稍微來聊一下動捕的後置流程,基本上有五個後置的過程。

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

第一,Tracking清理反光球的資料。

第二,Solving將清理完的反光球資料轉移到一個能夠縮放的動捕角色上面。

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

第三,Retargeting把能夠縮放的動捕角色再轉移到遊戲的角色上。為什麼要做這個過程呢?因為遊戲的角色是不能夠被縮放的,所以如果演員跟遊戲的角色有身高、體重、 手長、腳長方面的這些差距,我們會先上到一個能夠縮放的角色上面,再把這個資料轉移到遊戲角色上。

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

第四,Motion Edit做出所有抖動,或者是有穿透的清理。比如手叉腰、碰肩膀、摸頭這一方面的資料。

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

第五,Final motion,請動畫師做出手指與道具比如紙、車子,這些細節的動作,甚至於到臉部動捕的清理。

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

現在我們一個一個來講。

第一個反光球遮擋的問題。我們在做反光球資料清理的時候,把它跳出來讓大家稍微看一下。

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

第一點,在右邊大家可以看到的這個東西,原本的資料與之後設定好,這些反光球位置點的資料。大家可以看到,左邊所有白色的球就是實際上紅外線攝像機,攝取下來反光球的資料。之後我們還要去定位哪個球的點,比如說這四顆球是屬於它的頭部,哪一隻是左手、右手,哪一個是左腳、右腳,全部規劃好了之後我們才能夠看到一個3D的效果。這是屬於反光球資料的清理。

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

第二點,Solving,把資料轉移到一個能夠Scalable放大與縮小的人物上面。大家可以看到右下角這個圖片的手的長度,它有三顆反光球,應該是在手背的這兩個點跟手腕的這一邊,這三個點是在這個方向上。可是大家可以看到在右下角上面的這個圖,這三個點已經跑到了手指這一邊。所以我們現在需要縮放這個手臂,讓它反光球的點能夠達到實際上演員,當初所設定這些反光球的位置。可以看到在右下角的圖上面,我們會稍微移位它,讓它達到它應該達到的位置。

第三點,Retargeting,動捕資料角色的繫結。基於我們剛剛所講的人物的身高、體重都有差別。所以我們會在這個環節做出很多的細微地調整。

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

大家可以看到這個手其實兩邊是合不上的,一個高一個低,那是因為我們還沒有做成一個比較完整的清理,,所以這是一個還需要調整的步驟。大家可以看到紅色是之前拍攝的資料,灰色的就是棒球球員的資料。這是一個Retargeting動捕資料角色的繫結。

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

第四點,Motion Edit Assembly,就是我們剛剛所討論的身體穿插的這些問題,還有我們拿了道具、手指會穿透這些東西。或是今天拍攝了兩個不同的動作,一個人在跑忽然一下我們讓他在地上滾,也許我們先拍跑的動作,拍完第二個動作。我們再拍地上滾的動作我們也會在Motion Edit這個部門,去把這兩個動作融合成為一個動作,這個是所謂Motion Edit的部門。

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

第五點,Final motion最終的資料清理。在這個部門裡面,如果有做臉部的動捕,我們會在這個部門裡面把臉部的動捕達到更淋漓盡致的效果,以手K的方式去加強它。我們也會以手K的方式去展現出這些無法展現出MOCAP 動捕的這些道具,比如說紙、車子、飛機這些東西。

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

臉部動捕與虛擬相機的使用

在最早之前臉部動捕的方式,是讓演員坐在一張椅子上,前面也許有大概三四十臺相機,臉上也會放很多小小的反光球的點,比如說像《北極特快車》,它就是用這個方式去做的,這是一個非常浪費時間的方法。

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

基於現在時代的變遷、技術的成長,現在有頭戴式的頭盔能夠去做動捕。這個頭戴式的頭盔,它前面有個小小的攝像頭,能夠錄取臉上所有的表情。之後能夠與身體的資料去同步,達到一個非常好的臉部與身體,動捕的效果。

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

我們來討論一下虛擬相機。其實紅外線相機與反光球,就等於是動捕最基本的要求。基本上紅外線相機所有的這些定位點都找出來之後,把這些反光球的點放在iPad上面,放在不同的東西上面,把它constrain到一個假裝的 virtual的view point上面。

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

我們可以很明確地發現,今天我放三個反光球點在這個東西上面怎麼樣移動,讓我們可以在場景裡面實時地看到這個東西是怎麼的移動方法。如果我們在Motion Builder裡面加入一個Camera,把它constrain在這個東西上面,基本上Virtual camera就這麼形成了。

大家現在看到照片裡面有很多的按鈕這些資料是之後可以加的,比如說要加怎麼樣推進、拉遠,還是怎麼樣把資料播放出來,怎麼樣去錄這個資料、錄這個鏡頭等等,這些東西都可以在Virtual Camera上面完成。

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

讓大家稍微看一下Virtual Camera的運用,這是我大概在十年前拍攝的講解。

大家可以看到手上拿的手電筒這些東西,其實都是塑膠棍棒。這個攝像機其實上面放了很多反光球,所以說這些紅外線的攝像機能夠去定位這些反光球的點,去追蹤虛擬相機所在的位置點。這是我之前的同事,他在說今天我們能夠把攝像機把它constrain到這臺吉普車上面,就等於它所有的動向方面,就是說它的Translation是沒有辦法動的,因為是跟著車子走的。可是它的Rotation方面,他能夠左右地去操縱它。那之後我們也可以以軟體的方式去鬆開繫結,讓它能夠自由地活動。這位我之前的同事在講解的這塊部分,打槍的這個場景是之前錄好的,所以說我們可以把之前錄好的場景,跟真人實際上的動作能夠結合在一起。

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

大家現在想想看如果拍電影,要想從五層樓高的高度拉到一層樓,我們一定要去租一個很大的手臂才能拍攝到這種效果,可是以虛擬相機的運用方式,我們能夠在軟體裡面,從頭部移到胸部這個位置,希望它是從五層樓到一層樓的移動高度。大家現在可以看看,他拿到頭的高度,實際上在銀幕裡面看到的高度其實是非常高的,他慢慢降下來到他臉部高度的時候,已經達到地面的這個程度了。

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

所以說這些東西,都是可以在虛擬相機裡面去做出調整的,這是一個非常省時省力的事情。因為你可以得到一個認證,你不用租這麼多東西實際上去拍,發現說這個東西行不通,我們可以在虛擬相機裡面看到所有這些能夠達到的效果。

動捕整體在遊戲中的流程

這是我從過去20年來,一個比較快速地整個遊戲流程的經驗。第一在做遊戲之前一定要非常好的構想、概念。有了這個概念之後,我們才能夠請2D的手繪師,把這個場景與這個人物給稍微地畫出來。畫出來之後請3D的建模師,做成一個3D的模型。基於做成的這個模型並沒有骨骼,沒有辦法去手K動畫,上動捕的資料。

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

下一個環節就要進行骨骼的繫結。我們請一些TA,這些Rigging的人幫忙把這些道具、人物做一個骨骼的繫結,繫結之後就會進入到一個所謂的分鏡指令碼的部門。Storyboard artist會以一個一個的方式畫出來他想呈現出Cinematic的場景,就是這些人現在是什麼的動作,鏡頭大概在哪一個方向。有了這個畫出來的Storyboard之後,才會進入到Previz Layout鏡頭創作的部門。

在這個部門裡面,這些員工會很快地以一個手K的方式,把這個3D的人物稍微地以之前Storyboard的方式去展現出來。動作方面也會很快速用手K的方式,比如從A點走到B點可能只是滑動過去,把這個鏡頭帶起來,做一個認證的效果,之後去做一些剪接。

如果整體看起來是沒有什麼大問題的話,我們才會進入到動捕,把之前這些手K的資料轉換成真人動捕下來的資料。那這些資料轉移下來之後,我們會做資料上面的清理,比如像之前講的這些人,比較高的人要上到比較矮的人身上,或者說胖瘦不同。那這些資料,我們都就要經過一系列的清理,然後才能夠再回到這個鏡頭的部門,讓他們去做驗證。

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

我們為什麼要做驗證呢?比如說之前用手K的動畫,一個人從A點走到B點,他可能只K了大概兩秒鐘的時間,可是實際上我們用動捕拍攝的話,我們發現這個人從A點走到B點花了3秒鐘的時間,相對之前搭的這個鏡頭就不會100%的能夠去跟隨這些演員的動作。

所以說當動捕的資料做完了之後,我們還會送回到這個鏡頭的部門,讓他們去更改他們這一系列的之前搭設好的鏡頭,讓它能夠去跟隨這些動捕的人員,就是跟隨動捕的這些3D人物一起去運作。

當這些鏡頭也確認了,這些Motion Edit也做完了,我們會進到這個Final animation動畫加強的部門。在這個部門裡面,這些動畫師會去加強手指的這些動畫,也許說做臉部動捕要怎麼樣去拉到一個更好的效果。車子、紙、飛機這些東西,沒有辦法去用動捕做出來的資料,我們也會要求動畫師在這個環節裡面完成。

接下來幾個環節如Effects、Simulation、Lighting、Rendering,這些東西現在基本上在引擎裡面是可以完成。可是以Cinematic的方式來說,比如說衣服的動法,或者頭髮的飄動方式,在接下來光效渲染這個部門怎麼樣打光,就是在這個場景裡面,讓這些人物看起來是最為一體,最像在這個場景裡面互動、最有Dramatic effect,就是最能夠去說服人的一個打光的方式。然後我們把它給渲染出來,再把它進入到引擎裡面。這是一個比較快速的,整個遊戲與動捕,在這遊戲中環節的過程。

瞭解這些過程之後,我們來看看最後的一個影片。這是《最後生還者》動捕,與最後輸出對比。第一個影片基本上讓大家看到動捕的場景,與這些快速動捕下來的資料上到這個人物上面的整個過程。那基於我們今天所聊的所有的東西,加上剛剛的Pipeline流程,先讓大家看一看最終的成果。

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

大家可以看到,左上方是所謂的鏡頭創作,Blocking所有的東西都是以手K的方式去進行的。在之後我們進入到2動捕就是真實的動捕的資料。再上到3資料裡面把這個鏡頭稍微去優化一下,能跟隨這些動捕的人物。到最後的成品,就是艾莉在撿子彈的時候,她的手其實沒有做動捕,因為子彈太小顆了。這些都是之後,在動畫師那邊要完成的地方。大家看撿子彈就在這個環節。

希望大家在看完了這些影片之後,能夠對這個動捕有更深入的一層瞭解。

QA環節

一、動捕發展至今,您認為其定位是什麼?動捕仍是比較頂級的技術手段嗎?還是已經成為遊戲常規研發流程的一部分?動捕未來還有怎麼樣地一個進化?

答:我跟大家解釋一下,我在20多年前開始做動捕的時候,一顆反光球就像一顆乒乓球一樣大,然後它是一個硬的反光球,並不像現在做成一個軟的。為什麼呢?最早之前因為這些紅外線攝像機裡面的Sensor非常小,所以它的能見度是非常得低,我們一定要把反光球做到非常得大它才能夠擷取到這些資料。然後擷取下來的資料是直接到電腦裡面,它不會做出任何的計算。

可是現在20年之後,現在在外面普遍在使用的這些紅外線攝像機,它不但是可以擷取到更精細的這些資料,比如人臉上的這些小的點,還有這些反光球,軟的反光球,這種小的反光球,它甚至可以把擷取下來的這些資料,在這些紅外線的相機裡面做出一系列的計算,之後把計算出來的成果再放到電腦裡面。所以基本上,它會省略很多的時間。

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

這是一個動捕的相機從過去到現在的一個演變,那動捕將來還有什麼樣的變化?這個很難講,隨著硬體日新月異的發展,我覺得之後發展的空間還會很大。但之後比如說在家裡面,大家看到Xbox Kinect這些東西,已經可以稍微做出比較簡單地動捕的一個趨勢。所以我覺得之後在家裡面能夠完成動捕,也是非常有可能的事情。

二、在遊戲動捕過去比較常見於主機遊戲的大型單機遊戲,隨著手遊玩家的需求和移動裝置效能地提升,它會不會成為手遊的一大趨勢?

答:這個我覺得是非常有可能性,例如我們說做一系列的Locomotion好了。在以前的做法是15度角、30度角、45度角、60度角,然後這樣180度,我們每一個方向都要拍一次。那現在因為我們慢慢的有更新的Engineer發展,所以在目前的科技上,我們能夠做到所謂的Motion Matching,就是它能夠讓電腦實時地去計算出來每一個人啟動的方式,中間要怎麼去匹配這個動作。相對的就是說,這些資料變少了,電腦能夠計算出來的話,那我們也能夠去優化這些Data。所以今天如果說拍攝了900個,我們說一個GB(Gigabyte)的資料好了,我們如果能夠把它壓縮到大概幾十個Megabyte的話,那進手機是完全沒有問題的。那在現在的過程當中,這已經是在慢慢實現的一個效果。

三、在大型的場景裡面,我們是怎麼去做拍攝的?

答:想跟大家解釋一下,如果一個非常大的場景,我們拍攝的場地沒有這麼大,其實沒有關係,我們可以把這個大的場景規劃為幾個不同的小場景。比如說我們可以把這個大的場景規劃為六個不同的小場景,每一個小場景裡面我們可以用膠帶貼出該走的範圍、不應該超過的範圍,或者用一些蘋果箱Apple box去搭出這個桌子或椅子所在的位置。

基於拍完一個場景之後,我們可以再拍第二個場景,用相同的動捕場地,不同顏色的膠帶再去重貼出第二個場景該走的位置。之後我們能夠把這些資料去聯合起來。

最後幕後花絮:反光球惹的禍

騰訊互娛Kevin Wang:動捕在遊戲中的開發與應用流程丨TGDC2020

大家現在看到中間這張照片,這張照片的所有人員是《Polar Express》北極特快車的幕後工作人員,他們都是動捕的幕後人員。在拍攝了大概兩個月之後,終於有一天。在最後拍攝動捕的這一天大家覺得有這個機會跟這個主角Tom Hanks 湯姆·漢克斯做一張合照,可是殊不知這個拍攝的人忘了把閃光燈關掉,所以說現在幕後人員唯一可以留念的一張照片,跟湯姆·漢克斯留念的一張照片,就是中間這個臉在發亮的這個人。相對的大家看到在右邊的這個女士,除了兩個炯炯看著你的這個眼睛之外,基本上我們是看不出來這個人是誰的。所以說這個反光球,其實有它的好處,也有它的壞處。

給大家的建議就是,如果之後去光學的動捕室做動捕,如果他們有臉部的反光球的話,你如果想要跟這個演員合照,那切記把閃光燈關掉。要不然的話就會發生現在大家看到的這個悲劇,沒有留念的照片。

好,那今天我的演講就到此為止,我希望大家能夠在今天短短的45分鐘之內,能夠對動捕有一個更深層地瞭解。

謝謝大家來聆聽我的演講,希望你們都有美好的一天,拜拜。

相關文章