遙遙領先！網易互娛 AI Lab 蟬聯 2023 IEEE CoG 足球AI競賽冠軍！

近日，2023年IEEE遊戲大會（Conference on Games, CoG） 足球AI競賽正式公佈了比賽結果，網易互娛AI Lab成功衛冕，分別以2182.09分和2053.84分的成績再度包攬了5v5和11v11兩個賽道的冠軍，並以高於亞軍450.87分和562.45分的絕對優勢取得了斷崖式領先。值得一提的是，在主賽道11v11的兩輪正賽共計420場比賽中，網易互娛AI Lab取得了420場全勝的碾壓式戰績，以場均淨勝超過20球的成績擊敗了來自眾多知名企業和頂尖學府的AI團隊，相較上一屆比賽中的表現也取得了大幅提升，再度彰顯了實驗室在遊戲AI方面的技術硬實力。


IEEE遊戲大會是遊戲人工智慧領域的國際頂會，匯聚了來自全球遊戲AI領域內的研究和開發人員，共同探討遊戲技術與設計相關的前沿話題和未來趨勢。本次IEEE遊戲大會下設的足球AI競賽已連續舉辦兩屆，吸引了包括來自嗶哩嗶哩、位元組跳動、清華大學、中科院等眾多工業界和學術界的頂尖隊伍，競爭非常激烈。

本屆足球AI競賽設定了5v5和11v11雙賽道。其中，5v5賽道要AI學會控制除了守門員之外的4名隊員，而11v11賽道則要AI學會控制包含守門員在內的全部11名隊員。在策略層面上，智慧體需要在無法準確預知其他智慧體的行動時進行決策，並與其他智慧體進行良好配合，如適時進行截斷、阻擋、突破和反擊；在宏觀層面上，智慧體還需要在進攻策略和防守策略之間找到平衡，其中所涉及的團隊協作和競爭對抗十分複雜，這都對AI訓練提出了挑戰。

面對以上難題，網易互娛AI Lab使用了已經在公司內部驗證多次的、從零開始的深度強化學習方案進行智慧體訓練，從而極大提升了智慧體的強度，並令其表現出了極為流暢的傳接配合。其中，在強化學習部分，實驗室使用了PPO（近端最佳化演算法）在CTCE（中心化訓練中心化推理）模式下進行自博弈訓練，所用的策略網路主體現由Transformer和LSTM兩大模組構成。整個隊伍的決策現在可以在經過神經網路推理後一次性全部輸出，減少了推理所需算力從而極大地加速了訓練過程。同時，得益於自研的分散式深度強化學習框架，訓練過程加入了和數百種不同風格的對手進行對戰的模擬場景。最終，網易互娛AI Lab的智慧體能夠在此次比賽中面對各種未知對手的情況下穩定取勝，而且相較於其他參賽隊伍也表現出了更加多樣的策略，例如下底傳中、防守反擊、戰術犯規等真實足球比賽中的常見戰術。


除了競賽中的競技對戰功能，遊戲AI還能被應用於遊戲冷啟動的友好陪玩、平衡性測試等場景，前者可幫助提升玩家的遊戲體驗，而後者則能在遊戲開發中幫助降低成本並提升效率。網易互娛AI Lab的遊戲AI相關技術應用了前沿的模仿學習、強化學習、進化學習演算法等，目前已經在多款遊戲中落地，滿足各類遊戲場景需求。從理論到實踐、從簡單到困難，網易互娛AI Lab將持續透過遊戲AI技術帶給玩家更為精彩的體驗，賦予遊戲全新的價值。