網易2022GDC | 強化學習為競速類遊戲的賽車與賽道設計提升效率

本文首發網易遊學APP（原網易遊戲學院）

GDC是在全球範圍內享有最高影響力的遊戲開發者會議，已舉辦35屆，今年於3月21至25日在舊金山舉行。網易互娛今年有12位大咖的9個提案入圍GDC非贊助類演講，包括1項核心演講和8項主題峰會演講，讓我們一起圍觀入圍的提案和大神風采！

完整演講目錄戳 ：
12位互娛大咖，要在全球遊戲開發者大會上說點啥？
https://game.academy.163.com/schoolNews/newsDetail?id=518

一、平衡性測試概述

遊戲平衡性測試貫穿整個遊戲生命週期。遊戲上線前，需要對當前遊戲環境進行平衡性測試，確保遊戲設計符合策劃預期，遊戲環境相對平衡。遊戲上線後，需要根據玩家反饋調整遊戲平衡。

我們利用AI技術進行遊戲平衡性測試，通過遊戲AI在一天內完成數十上百萬場戰鬥模擬真實遊戲環境，獲得高水平AI，更好地驗證遊戲設計是否符合策劃預期。下圖是我們系統的輸入與輸出示意圖，系統接受M輛車×N條賽道，系統批量輸出多種報告：最優軌跡、最佳時間和手剎區域。在下一章節的系統報告分析介紹中，我們講展示如何使用這幾種報告來進行平衡性測試分析。

目前我們的方案已經入選了GDC 2022 core concept：
https://schedule.gdconf.com/session/reinforcement-learning-for-efficient-cars-and-tracks-design-in-racing-games/882393?_mc=sem_gdcmc_x_gdcmc_x_x_x_x_Googlex_1_2021


二、平衡性測試解決方案

2.1）技術方案：

平衡性測試系統主要框架下圖所示，系統主要包括三個模組：非同步訓練模組、狀態獎勵設計、測試報告生成與分析。

1）非同步訓練模組：

我們使用了高效的非同步取樣PPO框架，使用多程式來進行取樣，並解耦了訓練模組和取樣模組，加速訓練的收斂和測試報告的輸出。

2）狀態獎勵設計：

2.1）對於狀態來說需要設計完備的狀態空間能區別不同車輛的動態和靜態資訊，例如RPM，速度，當前的姿態等；另外需要對複雜的路況資訊進行建模，使得車輛能根據路況資訊更快地無碰撞的到達目的地。

2.2）對於獎勵來說需要設計出擬人化的操作軌跡，比如人類的手速，人類切內彎的特性等。

3）測試報告生成與分析：

策劃需要詳細的測試報告，例如設計的彎道的合理性，車輛的設計是否符合預期等；我們輸出了幾種不同的測試報告來方便策劃來對車輛和賽道進行評估，包括最優軌跡、最佳時間和手剎區域。


2.2）系統報告分析介紹：

利用最佳軌跡視覺化分析：

下面視訊是系統輸出的最優行駛軌跡動態視訊，每個小框的左上角表示該車輛的一些基本屬性，我們可以通過該視訊能看到不同車輛的駕駛差異。例如在20秒處，能夠清晰的看到左下角的車輛擁有最快的加速效能，而右下角的車輛擁有最慢的加速效能；在35秒處，能夠看到左上角的車輛比右上角的車輛有更大的入彎半徑。

利用最佳時間表分析：

下圖是利用系統輸出的最佳時間表來分析的例子，橫向表示賽道id，縱向表示賽車id，每個元素為該賽車在該賽道上的最佳時間。左下角是這三輛車的基本效能，從三個紅色框的最佳時間我們可以看到，效能越好的車擁有更短的跑測時間，是符合策劃設計的要求的。


利用手剎區域分析：

下圖是利用系統輸出的手剎區域來分析的彎道設計合理性的例子，我們可以看到AI在滿足人類的操作頻率約束下，紅色圓框處的U性彎處，AI只拉起了一次手剎就可以穿過彎道。我們可以想到左圖中的U型彎設計得太寬了，右圖中U型彎前方的加速直道設計太短，導致加速沒有完全加起來，使得U型彎可以順利穿過。


2.3） 系統附帶功能介紹：

同樣的我們的AI系統除了能進行平衡性測試外，也發現了其他有趣的產出來幫助開發者debug或者幫助玩家更好的遊戲體驗。

幫助開發者debug

AI跑測可以發現一些開發者未發現的bug，下圖展示了利用賽道時間表來幫助程式debug的例子，豎向的紅色框表示該條賽道的某些障礙物直接橫在賽道中央導致所有車輛不能完整的穿過賽道；橫向紅色框表示該賽車由於最大速度設定得太小不能完整得跑完所有賽道。


從下圖的AI軌跡可以看出，該賽道的某處彎道應該存在的障礙物失效了，導致AI直接從障礙物穿了過去。


幫助玩家跑得更快

以下視訊展示瞭如何幫助玩家能夠更好的熟悉賽道，跑出更快的成績。視訊中的箭頭線為AI跑出的實際軌跡線，綠色箭頭代表玩家需要正常的加速，而黃色箭頭表示玩家需要進行手剎操作。

來源：網易遊學APP