近日，在全球矚目的AAMAS 2024 Computational Economics Competition（計算經濟學挑戰賽）上，卓世科技人工智慧前沿實驗室團隊“Zhuoshi Technology AI Cutting-edge Laboratory”一舉奪得兩個核心賽道的冠軍和亞軍，展現出其在計算經濟學和人工智慧領域的強大競爭力。
冠軍證書
亞軍證書
AAMAS 2024 是第23屆國際自主智慧體和多智慧體系統會議（International Conference on Autonomous Agents and Multiagent Systems），這是智慧體技術和多智慧體系統領域內最大和最有影響力的會議之一。它彙集了來自世界各地的研究人員和實踐者，共同探討和分享該領域內最新的研究成果和發展動態。本次計算經濟學挑戰賽 (AAMAS 2024 CE competition) 旨在推動 AI for economics 的領域研究。
AAMAS 2024 CE Competition
本次比賽由中國科學院自動化研究所主辦，吸引了來自中科大、南大、人大、愛丁堡、布里斯托、俄勒岡等海內外眾多學術和科研機構的隊伍。
本次競賽的賽題為智慧稅收 (Optimal Tax) 問題，比賽設定兩個賽道：
賽道一：智慧稅收-政府 挑戰賽—— 模擬政府角色，調控稅率和政府支出，最大化GDP和平衡財富分配。
賽道二：智慧稅收-個人挑戰賽—— 模擬個人角色，調整工作時間和投資比例，最大化個人利益。
來自卓世科技的隊伍“Zhuoshi Technology AI Cutting-edge Laboratory”首次參賽，分別拿下兩賽道冠亞軍。卓世科技人工智慧前沿實驗室團隊致力於AI大模型前沿技術的研究，目前已經在Multi-Agent、模型量化壓縮、MoE方向取得了重要突破。
難點和挑戰：
此次競賽的難點和挑戰在於，所面臨的對手策略未知，需要訓練智慧體，能應對不同的對手策略，因此卓世科技設計了一種MARL+進化的訓練框架。在該框架中，每類智慧體（政府或家庭）維持一個長期策略池和短期策略池，長期策略池中儲存歷史策略引數（每隔50輪訓練儲存一次模型），短期策略池中維持最好的20個策略，具體而言，我們透過隨機匹配對手，進行大量測試，挑選出top20的策略引數。長期策略池中維持了多種多樣的策略，用於訓練top20策略，使其具有魯棒性。
在正賽1中，我們訓練完成後，我們從top20的短期策略池中選取平均得分最高的策略作為提交比賽的智慧體。在正賽2中，短期策略池中仍然維持top20的策略引數，與階段1不同，我們從top20中再次進行對抗測試，從中選出top12的策略引數，與階段1中的策略引數進行整合。我們嘗試從這十幾個策略中選擇一部分進行整合。對於政府，我們選擇10個策略，而對於家庭，我們選擇12個策略。每個策略輸出自己的動作，然後去掉一個最大值，去掉一個最小值，然後對剩下的動作取平均，以此作為最終的策略。主要是為了提高策略的魯棒性。
領先35%強勢奪冠：
卓世團隊迎難而上，憑藉以下技術方案亮點，在競賽中脫穎而出，以領先第二名35個百分點的成績強勢奪冠！
- 策略網路架構：採用Actor-Critic框架，Actor使用部分可觀測狀態，Critic包括全域性狀態。
- 訓練演算法：採用MATD3演算法，集中式訓練和分散式執行。
- 策略整合：挑選top K策略進行整合，提高模型魯棒性。
策略網路架構上，卓世科技採用經典的Actor-Critic框架，其中Actor僅使用部分可觀測的狀態，Critic包括所有智慧體部分觀察和全域性狀態。為了緩解部分可觀測問題，我們將歷史4步的狀態進行合併，具體而言，我們將每步的特徵向量進行非線性變換，之後進行拼接，這類似於時空卷積結構，如圖1所示。在訓練演算法上，我們採用了MATD3，這是一種改進MADDPG的演算法，每次狀態Q值估計都會輸出兩個值，並使用最小值作為目標Q值，這有利於緩解狀態價值得過估計問題。訓練上採用集中式訓練和分散式執行，訓練完成的Critic網路不再使用，Actor網路根據區域性觀察進行動作輸出。
圖 5 Actor和Critic網路結構
在訓練完成的top K策略池中，我們挑選出最好的N個模型進行策略整合，以提高模型對位置策略的魯棒性，如圖2所示。
圖 6 策略整合
綜合以上策略，在賽道二，卓世團隊以2845.58分、領先第二名35個百分點的成績強勢問鼎冠軍！該得分是綜合考慮家庭端工作時長和消費的表現，並與多隻參賽隊伍PK的最終得出。在賽道一，團隊以1個百分點微弱之差奪得亞軍！該得分是綜合考慮政府端gdp增長率和貧富差距的基尼指數表現。團隊在賽道一和賽道二取的成績，得益於自主研發的分散式訓練框架，在短時間內可與多樣性的智慧體進行對抗，學習足夠魯棒的策略模型， 體現團隊在Multi-Agent方向擁有較強的技術儲備和實戰能力。
卓世科技CEO屠靜賽後表示：“我們以卓越的AI技術實力和創新精神，在全球計算經濟學領域舞臺上贏得了榮譽，向全世界展現了中國AI力量的崛起。卓世科技將持續引領AI產業化落地，不斷創新變革，助力各行各業找到真正的商業應用場景。我們致力於成為行業模型服務的領導者，與合作伙伴共同推進中國產業AI的落地化程序。”