AI打王者、星際爭霸……你還不懂背後技術？這有一份遊戲AI綜述

機器之心發表於2021-11-30
AI遊戲
人機遊戲有著悠久的歷史，已經成為驗證人工智慧關鍵技術的主流。圖靈測試可以說是人類首次進行人機對抗測試，這激發了研究人員設計各類 AI 來挑戰職業人類玩家。例如，1989 年研究者開發了國際跳棋程式 Chinook，目標是擊敗世界冠軍，1994 年 Chinook 打敗了美國西洋跳棋棋王 Marion Tinsley。在之後的時間裡，IBM 的深藍在 1997 年擊敗國際象棋大師 Garry Kasparov，開創了國際象棋史上的新紀元。

近年來，我們見證了遊戲 AI 的快速發展，從 Atari、AlphaGo、Libratus、OpenAI Five 到 AlphaStar 。這些 AI 透過結合現代技術在某些遊戲中擊敗了職業人類玩家，標誌著決策智慧領域的快速發展。

AlphaStar（DeepMind 開發的計算機程式） 和 OpenAI Five（美國人工智慧研究和 OpenAI 開發）分別在星際爭霸和 Dota2 中達到了專業玩家水平。現在看來，目前的技術可以處理非常複雜的不完美資訊遊戲，特別是在最近大火的王者榮耀等遊戲中的突破，它們都遵循了類似 AlphaStar 和 OpenAI Five 的框架。我們不禁會問：人機遊戲 AI 的未來趨勢或挑戰是什麼？來自中國科學院自動化研究所以及中國科學院大學的研究者撰文回顧了最近典型的人機遊戲 AI，並試圖透過對當前技術的深入分析來回答這些問題。

圖片


 論文地址：https://arxiv.org/pdf/2111.07631.pdf
 
具體而言，該研究總共調查了四種典型的遊戲型別，即圍棋棋盤遊戲；紙牌遊戲（德州撲克 HUNL、鬥地主和麻將）；第一人稱射擊類遊戲 (FPS)（雷神之錘 III 競技場）；實時戰略遊戲 (RTS)（星際爭霸、Dota2 和王者榮耀） 。上述遊戲對應的 AI 包括 AlphaGo、AlphaGo Zero 、AlphaZero、Libratus、DeepStack、DouZero、Suphx、FTW、AlphaStar、OpenAI Five、JueWu 和 Commander。圖 1 為一個簡短的概要：

圖片

本文調查的遊戲以及 AI

總體而言：在第 2 節中，該研究描述了本文涵蓋的遊戲和使用的AI；第 3-6 節分別闡述了棋盤遊戲、紙牌遊戲、FPS 遊戲和 RTS 遊戲對應的 AI；在第 7 節總結並比較了各類遊戲所使用的不同技術；在第 8 節展示了當前遊戲 AI 面臨的挑戰，這些挑戰可能是該領域未來的研究方向。最後，第 9 節對論文進行了總結。

典型的遊戲和 AI

下表提取了不同遊戲挑戰智慧決策的關鍵因素，如表 1 所示：

圖片

上表列出了不同遊戲的優缺點，我們需要根據不同的遊戲型別，分配不同的 AI。因為不同的遊戲具有不同的特點，其解決方案也各不相同，因此研究者開發了不同的學習策略來構建 AI 系統。在本文中，AI 被進行不同的分配：AlphaGo、AlphaGo Zero、AlphaZero 用於棋盤遊戲；Libratus、DeepStack、DouZero 和 Suphx 分別用於紙牌遊戲 HUNL、鬥地主和麻將；FTW 用於 FPS 遊戲中的雷神之錘 III 競技場；AlphaStar、Commander、OpenAI Five 和 JueWu 分別用於星際爭霸、Dota2 和王者榮耀。

不同遊戲對應的 AI

棋盤遊戲 AI

AlphaGo 系列由 AlphaGo、AlphaGo Zero 和 AlphaZeo 組成。2015 年問世的 AlphaGo 以 5：0 擊敗歐洲圍棋冠軍樊麾，這是軟體首次在全尺寸棋盤對職業棋手的比賽中取得這樣的成績。之後，DeepMind 為 AlphaGo Zero 開發了新的訓練框架，事先無需專業的人類對抗資料，取得了卓越的表現。AlphaZero，是一種通用強化學習演算法。AlphaGo 系列總結如圖 2 所示：

圖片

AlphaGo 系列框架圖

紙牌遊戲 AI

紙牌遊戲作為典型的不完美資訊遊戲，長期以來一直是人工智慧的挑戰。DeepStack 和 Libratus 是在 HUNL 中擊敗職業撲克玩家的兩個典型 AI 系統。它們共享基礎技術，即這兩者在 CFR 理論上相似。之後，研究人員專注於麻將和鬥地主這一新的挑戰。由微軟亞洲研究院開發的 Suphx 是第一個在麻將中勝過多數頂級人類玩家的人工智慧系統。DouZero 專為鬥地主設計，這是一個有效的 AI 系統，在 Botzone 排行榜 344 個 AI 智慧體中排名第一。紙牌遊戲 AI 的簡要框架如下圖所示：

圖片

紙牌遊戲 AI 的簡要框架

第一人稱射擊（FPS）遊戲 AI

雷神之錘 III 競技場是一款典型的 3D 多人第一人稱視角電子遊戲，其中兩個對立的團隊在室內或室外地圖中相互對抗。CTF 設定與當下多人電子遊戲有很大不同。更具體地說，CTF 中的智慧體無法訪問其他玩家的狀態，此外，團隊中的智慧體無法相互通訊，這樣的環境是學習智慧體進行通訊和適應零樣本生成最優測試平臺。零樣本意味著智慧體進行協作或對抗不是經過訓練而來的，可以是人類玩家和任意的 AI 智慧體訓練而來，僅基於畫素和人類等遊戲點作為智慧體的輸入，學習智慧體 FTW 框架可以達到人類級效能。遊戲 CTF 的 FTW 框架如下圖所示：

圖片

遊戲 CTF 的 FTW 框架

RTS 遊戲 AI

RTS（即時戰略）遊戲作為一種典型的電子遊戲，多達數萬人相互對戰，RTS 通常被作為人機遊戲的試驗檯。此外，RTS 遊戲通常環境複雜，比以往遊戲更能捕捉現實世界的本質，這種特性使得此類遊戲更具適用性。DeepMind 開發的 AlphaStar 使用通用學習演算法，在星際爭霸的所有三個種族中都達到了大師級別，其效能超過 99.8% 的人類玩家（總數約 90000 名玩家）。Commander 作為輕量級的計算版本，遵循 AlphaStar 相同的訓練架構，使用更少的計算量級，並在現場賽事中擊敗兩名特級高手。OpenAI Five 旨在解決 Dota2 遊戲，這是第一個在電子競技遊戲中擊敗世界冠軍的 AI 系統。作為與 Dota2 比較相似的電競遊戲，《王者榮耀》面臨的挑戰最為相似，覺悟成為第一個可以玩完整 RTS 遊戲而不限制英雄池的 AI 系統。典型 RTS 遊戲的簡單 AI 框架如下圖所示：

圖片

一個典型 RTS 遊戲的簡單 AI 框架
 
挑戰和未來趨勢

儘管計算機遊戲已經取得了很大的進步，但當前技術仍然面臨著諸多挑戰，例如大量依賴計算資源等，這將激發未來的研究。

大模型

如今，大模型，尤其是預訓練大模型，正在從自然語言處理發展到計算機影像處理，從單模態到多模態。即使在零樣本設定中，這些模型也證明了其在下游任務的巨大潛力，這是探索通用人工智慧的一大步。

OpenAI 開發了 GPT-3，它擁有超過 1750 億個引數，並在各種語言相關任務中表現出良好的效能。然而，遊戲中的大模型基本沒有，當前複雜遊戲的模型比那些引數多的大模型要小得多。如表 2 所示，AlphaStar 和 OpenAI Five 分別只有 1.39 億和 1.59 億的引數：

圖片

考慮到大模型是對通用人工智慧的一個比較好的探索，如何在遊戲中為人工智慧設計和訓練大模型，可能會為那些時序決策領域提供新的解決方案。為了進行這樣的嘗試，該研究認為至少應該仔細考慮兩個問題：

  • 首先，遊戲任務與自然語言處理任務非常不同，因此如何明確訓練目標是大模型的關鍵步驟；

  • 其次，由於遊戲難易程度不同，如何設計合適的訓練機制比較困難。訓練方法應該能夠處理各種遊戲並確保學習不會退化。

低資源 AI

為了在複雜環境中訓練專業級 AI，通常需要大量的計算資源。從表 3 得出我們需要大量的資源投入來訓練 AI。

圖片

我們不禁會問，是否可以在資源有限的情況下訓練出專業級的人工智慧。一個直觀的想法是引入更多的人類知識來輔助學習，強化學習可以說是未來的一個發展方向。另一方面，開發出理論和易於計算的進化策略，將是低資源人工智慧系統的關鍵一步。

評估

目前，對智慧體的精確評估成為一個難題。人機遊戲通常採用基於獲勝機率（對職業人類玩家）的評價標準，如表 4 所示。但是，這種評價比較粗糙，尤其是在有限的非遷移遊戲測試下。如何為大多數遊戲制定一個系統的評價標準是一個重要而開放的問題。

圖片

 透過這篇文章，研究者希望初學者能夠快速熟悉遊戲 AI 這個領域的技術、挑戰和機遇，並能啟發在路上的研究人員進行更深入的研究。

相關文章