微軟麻將 AI 論文釋出，首次公開技術細節

2019 年 8 月 29 日，微軟釋出了一個名為 Suphx（超級鳳凰）的「麻將 AI」，在專業的麻將競技平臺上，Suphx 的實力勝過了頂級人類選手的平均水平。

當時一經發布，Suphx 便引起了廣泛的關注，不僅是人工智慧領域，不少麻將愛好者也都趕來圍觀討論。

麻將的資訊集數目和資訊集平均大小

超過了橋牌、德撲和圍棋

人們評價該系統比戰勝了職業圍棋手的 AlphaGo 更復雜，被譽為「最強日麻人工智慧」。

今天，該系統的研發團隊在 arXiv 上發表了論文《Suphx: Mastering Mahjong with Deep Reinforcement Learning》（《Suphx：掌握麻將與深度強化學習》），更深一步地講解了 Suphx 背後的技術。

《Suphx：掌握麻將與深度強化學習》

論文地址：

此前我們已經介紹過，Suphx 系統利用深度強化學習，從 5000 場比賽中學習、吸取經驗之後，在日本專業的麻將競技平臺「天鳳」上擊敗了眾多麻將玩家，取得平臺「特上房」的最高段位十段。

Suphx 在天鳳平臺的段位，遠高於其它麻將 AI

這樣一個強悍的麻將 AI，究竟是如何打造的？來自微軟亞洲研究院、京都大學、中國科學技術大學、清華大學以及南開大學的研究團隊，在最新版的論文中，進行了深入的介紹。

從論文中，我們也得知，Suphx 在進一步的學習下，水平也更進一步。在擁有超過 35 萬位玩家的「天鳳」平臺上，被官方評為水平超越 99.99% 以上玩家，這是計算機程式首次超過麻將中大多數頂級人類玩家。

Suphx 包含一系列卷積神經網路，它學習了五種模型來處理不同的場景，包括 discard（丟棄模型）、Riichi 模型、chow 模型、Pong 模型和 Kong 模型。

在此基礎上，Suphx 採用另一種基於規則的模型，來決定是否宣佈贏家並進行下一輪，檢查是否贏牌可以從其他玩家丟棄的牌中來判斷，或者從排牆上抽出來的牌來判斷。

據介紹，Suphx 的訓練過程一共分為三步。

首先，它的 5 個模型都使用從「天鳳」平臺收集的頂級人類玩家的日誌進行訓練。

然後，使用包含一套基於CPU 的麻將模擬器和基於 GPU 的軌跡生成推理引擎，透過自我博弈強化學習對系統進行微調。

最後，在線上遊戲期間，使用執行時策略調整被用來觀察當前輪的結果，從而使系統執行得更好。

Suphx 中的分散式強化學習系統

由於麻將牌局中，對手的資訊都是未知的，因此，Suphx 嘗試了先知教練技術來提升強化學習的效果。在自我博弈的訓練階段，利用隱藏資訊引導模型訓練方向 ，從而增強 AI 模型對可見資訊的理解，並找到有效的決策依據。

在實驗之前，團隊在 44 個 GPU (包括4個 Nvidia Titan XPs 用於引數伺服器，40 個 K80s 用於自我博弈玩家)上，使用 150 萬次牌局，對每個模型進行了為期兩天的訓練。

該團隊對 20 個 Nvidia Tesla K80 GPU 上的 Suphx 進行了評估。為了減小穩定排名的方差，他們從 100 多萬場的麻將牌局資料集中，隨機抽取了 80 萬牌局的資料，並從中進行了 1000 次取樣。

評估結果為，在「天鳳」平臺與人類玩家進行了超過 5760 場比賽後，Suphx 創造了十段的紀錄——大約只有 180 個玩家曾經達到過這個水平。而 Suphx 穩定的排名是 8.74 段(人類玩家最高水平是 7.4 段)。

強化學習 agent 最終穩定排名統計

在不斷最佳化中，RL-2 最終取得更好的表現 

有趣的是，研究人員寫道，Suphx 的防守「非常強」，放胡的機率很低，只有 10.06%，而且它開發了自己的遊戲風格，可以保證牌的安全，並以半平手取勝。

AI 玩家（南方）會選擇保守打法

放棄籃筐內的六筒，因為牌桌上已有該牌

此外，論文的合著者寫道，大多數現實世界的問題，如金融市場預測和物流最佳化與麻將有相同的特點。比如複雜的操作/獎勵規則、非完美資訊問題等等。

作者相信，在 Suphx 中設計的麻將技術，包括全域性獎勵預測、先知引導以及政策調整等，都有巨大的潛力，將來可廣泛應用於現實世界，幫助解決真實而複雜的實際問題。