《深空之眼》口型動畫背後的技術支援

本次內容來自於CRI中國的技術講座CRI TechSummit Live（簡稱CTS Live）。

CRI Lipsync是基於深度學習的語音分析技術，是一款根據聲音資料自動生成自然的口型的語音解析Lipsync中介軟體。可以運用在遊戲內的會話場景等，配合臺詞生成自然的口型。


目前已經日益被日本以及中國的廠商所使用，這裡結合廈門勇仕的《深空之眼》案例，來解析下實際的應用。

帶來分享的是《深空之眼》的技術美術Dahan

《深空之眼》是勇仕網路研發的3D動作手遊，於2021年5月13日至2021年5月27日開啟“覺醒測試”，2021年9月16日至2021年9月30日開啟“連攜測試”，2022年4月22日正式公測。

玩家將在遊戲中化身“深空之眼”組織的管理員，與修正者小隊並肩作戰，清除視骸，守護文明秩序。


CRIWARE為這款遊戲提供了聲音影片相關技術的支援。

在遊戲的互動中，口型表現配合動作表現能夠提供整體的表現力，從而能夠大幅度地增強玩家的代入感。這一需求在二次元的領域中格外明顯。


傳統的口型繪製方式往往需要消耗大量的人力和物力，顯得極不經濟。

這時候，我們就可以用LipSync口型中介軟體來加快我們的工作效率了：


在《深空之眼》中，使用的相關的解決方案是LipSync預先分析和CRI Lips Craft唇形同步支援：


在應用方案前，我們需要先建立模型資料：



接著，可以使用預先分析wav得到口型資料：


然後，從中取得我們需要的資料：


再接著，使用ADX LipSync進行預先分析：


接著，透過指令碼讀取資料驅動口型：


之後進行一定的適配後，我們就可以得到想要的具體效果了：


-END-


CRIWARE來自日本，紮根中國本土市場。致力於為遊戲開發商提供高效音影片及相關資源一站式服務。旗下主要產品有CRIWARE（ADX、SOFDEC及LIPSYNC等）、SpriteStudio以及作曲音效等音訊業務。

官網：https://www.criware.cn/

諮詢電話/微信：13818827912