《賽博朋克2077》是如何將人物表情和口型本地化的？

在開發《賽博朋克2077》期間，“巫師”系列開發商CD Projekt Red與許多名人進行了合作。例如，讓著名影星基努·裡維斯扮演角色強尼銀手，而瑞典朋克樂隊Refused和加拿大流行歌手Grimes則參與了遊戲裡的音樂表演。

但你很可能從未聽說過Jali Research的名字。這是一家來自加拿大的面部動畫公司，在《賽博朋克2077》的本地化過程中為CDPR提供了協助。

Jali成立於多倫多大學內部，由博士生波夫·愛德華茲（Pif Edwards）、曾獲得奧斯卡獎的動畫師兼總監克里斯·蘭德雷斯（Chris Landreth），以及尤金·富梅（Eugene Fiume）和卡蘭·辛格（Karan Singh）兩位教授聯合創辦。


一些基本方法

起初愛德華茲的主要研究方向是面部動畫，不過後來轉移到了語言表達上，因為他認為當人們在表達想法時，幾乎總是在說話。他對當時用來處理語音和動畫的那些工具感到不滿，決定自己構建新工具。

2016年，Jali向計算機圖形學會議SIGGRAPH提交了一篇將程式性講話作為主題的論文，CDPR在讀過那篇文章後與他們取得聯絡。

在2015年發售的《巫師3》中，CDPR使用演算法來處理8種不同語言角色配音的面部動畫，並在一定程度上取得了成功。不過，《賽博朋克2077》還有更遠大的目標，希望對10種語言的角色配音進行口型同步，包括英語、德語、西班牙語、法語、義大利語、波蘭語、巴西葡萄牙語、俄語、中文普通話和日語。

CDPR將機器學習和基於規則的人工智慧進行了結合使用。其中，機器學習被用於“校準”階段，目標是讓機器弄清楚當某個人說話時，究竟會發出哪些聲音。

“假設我們有一份音訊檔案，裡邊有人正在說‘Hello’。”Jali聯合創始人兼技術長愛德華茲解釋道，“H音是從哪裡開始，在哪裡結束的？e、l和o的聲音又在哪裡？我們會標記特定語言的資訊，然後訓練一個機器學習過程，讓它使用資料來識別聲音。”

“之後你可以扔給它一句此前從未見過的新對話，而它將會預測聲音之間的界線，以及每個音素的持續時間。”


Jali接下來會進入工作的第二階段，即動畫製作。他使用老式基於規則的AI，以確定哪些面部動作與角色正在發出的聲音相對應。這套系統會對特定的輸入做出響應，執行操作。

“藉助這種基於規則的方法，我們可以根據角色發音來判斷應該採用哪種嘴型。”愛德華茲說，“例如，你在說‘dude’和‘you’時嘴型看上去很像，但它們是兩個完全不同的詞……當你念出某些特定字母或聲音時，嘴型未必一成不變。你不能說這是個en音，所以我發音時嘴型就像這樣。你得考慮很多變數，包括字母前後有哪些其他音節等。”

“我們對語音做過大量研究，積累了各方面的很多不同知識，並制定了一系列規則。無論你正在發出什麼聲音，無論不同語言在發音上有哪些區別，我們都知道需要配備怎樣的面部表情。”愛德華茲說。

這種技術結合的美妙之處在於，在機器學習過程的支援下，同一套基於規則的AI可以被運用於多種不同方言。“我們必須針對每種語言專門訓練機器學習過程，但動畫的組成部分是相同的。我們沒有針對日語的特定動畫模型，只有語言模型。”


“令我驚訝的是，語言學的一般規則適用於所有語言，但這很難……人們之所以不願意進行這類基於規則的工作，是因為你不得不瞭解這些規則，需要耗費很長時間。”

Jali幫助開發團隊節省了大量時間。平均而言，一位動畫師需要花大約7小時才能做完單個角色在遊戲裡說1分鐘話的動畫，而《賽博朋克2077》不但是一款含有巨量對話的大型RPG，還得支援10種不同語言配音的口型同步，顯然需要CDPR付出巨大的人力和時間成本。

除了口型，還能做什麼

從某種意義上講，藉助這種本地化技術，《賽博朋克2077》還將世界各地的更多語言視為“一等語言”。很多時候，遊戲發行商只會在作品中針對英語同步角色口型，在為其他語言做本地化時會進行額外的配音，效果卻往往不盡人意。

“舉個例子，假設你想將一句對話從英語翻譯成法語。”愛德華茲解釋說，“翻譯後的版本可能比原句長得多。許多遊戲的做法僅僅是加長動畫，但看上去可能非常蠢。工作室不得不這麼做，因為他們不能重做口型同步了。”

“面部動畫也很重要，Jali的技術讓所有元素顯得協調。當你玩這款遊戲時，會發現說普通話的角色確實就像在說普通話。”


有趣的是，CDPR在創辦初期就是以面向波蘭本土市場引進海外遊戲起家的。在過去，大多數波蘭人願意玩盜版遊戲，部分原因在於海外發行商不想花工夫將遊戲翻譯成波蘭語。隨著CDPR將更多精力放在翻譯和本地化上，越來越多的波蘭玩家願意花錢購買正版遊戲。

這種理念似乎一直延續至今。今年夏天，CDPR中國公關和市場總監Darren Ding曾在社交媒體上透露，中國是《賽博朋克2077》預購玩家數量最多的國家。這既是因為中國人口眾多，也與《賽博朋克2077》在中文字地化方面的出色表現不無關係。

“我和一位俄羅斯同事聊過我們正在做些什麼。”愛德華茲說，“他是《巫師3》的忠實粉絲，但只玩過英語版本，因為那是《巫師3》最受關注的版本。當那位俄羅斯同事玩到《賽博朋克2077》時，他特別興奮，因為他將獲得與那些說英語的人完全一樣的體驗。”

“這是讓玩家進一步沉浸於遊戲的方式，能夠幫助他們不再出戲，真正深入體驗故事。”

本文編譯自：gamesindustry.biz
原文標題：《Why CD Projekt used AI to localise Cyberpunk 2077》
原作者：Alex Calvin
譯者：等等
來源：觸樂
地址：http://www.chuapp.com/article/287675.html