如果 GPT-4 在模擬基於常識任務的狀態變化時準確率都只有約 60%，那麼我們還要考慮將大語言模型作為世界模擬器來使用嗎？
最近兩天，一篇入選 ACL 2024 的論文《Can Language Models Serve as Text-Based World Simulators?》在社交媒體 X 上引發了熱議，就連圖靈獎得主 Yann LeCun 也參與了進來。這篇論文探討的問題是：當前語言模型本身是否可以充當世界模擬器，並正確預測動作如何改變不同的世界狀態，從而避免大量手動編碼的需要呢？針對這一問題，來自亞利桑那大學、紐約大學、約翰斯・霍普金斯大學、微軟研究院、 艾倫人工智慧研究所等機構的研究者在「基於文字的模擬器」上下文中給出了他們的答案。他們認為：語言模型並不能作為世界模擬器使用。比如，GPT-4 在模擬基於常識任務（如燒開水）的狀態變化時，準確率僅為約 60%。
x 地址：https://x.com/peterjansen_ai/status/1801687501557665841
Yann LeCun 對這篇論文的發現表示了認同，並認為「沒有世界模型，也就沒有規劃。」
X 地址：https://x.com/ylecun/status/1801978192950927511
不過也有人表達了不同的觀點：當前 LLM（沒有進行針對性任務訓練）的準確率可以達到 60％，這不就說明了它們至少是「一定程度上的世界模型」嗎？並且會隨著 LLM 的迭代而持續改進。LeCun 又表示，世界模型不會是 LLM。
回到論文中，研究者構建並使用了一個全新的基準，他們稱為「ByteSized32-State-Prediction」，包含了一個文字遊戲狀態轉換和隨附遊戲任務組成的資料集。他們首次使用該基準來直接量化大語言模型（LLM）作為基於文字的世界模擬器的效能。透過在這個資料集上測試 GPT-4，研究者發現：儘管它的效能令人印象深刻，但如果沒有進一步的創新，它仍然是一個不可靠的世界模擬器。因此，研究者認為，他們的工作既為當前 LLM 的能力和弱點提供了新的見解，也為跟蹤新模型出現時的未來進展提供了一個新的基準。
論文地址：https://arxiv.org/pdf/2406.06485研究者探究了 LLM 在基於文字的虛擬環境中充當世界模擬器的能力，在這種環境中，智慧體接收觀察結果並以自然語言提出操作以完成某些目標。每個文字環境都可以正式表示為具有 7 元組 (S,A,T,O,R,C,D) 的目標條件部分可觀察馬爾可夫決策過程 (POMDP)，S 表示狀態空間，A 表示動作空間，T : S×A→S 表示轉換函式，O 表示觀察函式，R : S×A→R 表示獎勵函式，C 表示描述目標和動作語義的自然語言「上下文訊息」，D : S×A→{0,1} 表示二元完成指示函式。研究者提出了一個預測任務，稱它為 LLM as-a-Simulator (LLM-Sim)，用來定量評估語言模型作為可靠模擬器的能力。LLM-Sim 任務是將一個函式 F : C×S×A→S×R×{0,1} 作為世界模擬器來實現。在實踐中，完整狀態轉換模擬器 F 應該考慮兩種型別的狀態轉換：動作驅動轉換和環境驅動轉換。圖 1 為使用 LLM 作為文字遊戲模擬器的示例：開啟水槽後，水槽中的杯子被水填滿的過程。動作驅動轉換是採取開啟水槽的動作後，水槽被開啟（isOn=true）；而環境驅動轉換是在水槽開啟時，水填滿水槽中的杯子。
為了更好地理解 LLM 對每個轉換進行建模的能力，研究者進一步將模擬器函式 F 分解為三個步驟：
- 動作驅動轉換模擬器：給定 c、s_t 和 a_t， F_act：C×S×A→S 預測 s^act_t+1，其中 s^act_t+1 表示動作引起的直接狀態變化。
- 環境驅動轉換模擬器：給定 c 和 s^act_t+1，F_env：C×S→S 預測 s_t+1，其中 s_t+1 是任何環境驅動轉換後產生的狀態。
- 遊戲進度模擬器：給定 c、s_t+1 和 a_t， F_R：C×S×A→R×{0,1} 預測獎勵 r_t+1 和遊戲完成狀態 d_t+1。
此外，研究者考慮了 LLM-Sim 任務的兩種變體- 狀態差異預測：LLM 僅輸出輸入和輸出狀態之間的差異。
為了完成這一任務，研究者引入了一個新的文字遊戲狀態轉換資料集。該資料集為 「BYTESIZED32-State-Prediction (BYTESIZED32-SP) 」，它包含 76,369 個轉換，表示為 (c,s_t,rt,d_t,a_t,s^act_t+1,s_t+1,r_t+1,d_t+1) 元組。這些轉換是從 31 個不同的文字遊戲中收集的。
LLM-Sim 上的效能由模型相對於測試樣本資料集上的真實標籤的預測準確性來決定。根據實驗條件，LLM 必須模擬物件屬性（模擬 F_act、F_env 或 F）和 / 或遊戲進度（模擬 F_R 或 F），定義如下：- 物件屬性：遊戲中所有物件、每個物件的屬性（如溫度、大小），以及與其他物件的關係（如在另一個物件內或之上）。
- 遊戲進度：智慧體相對於總體目標的狀態，包括當前累積的獎勵、遊戲是否已終止以及總體目標是否已實現。
研究者注意到，在每種情況下，LLM 都提供了 ground truth 先前狀態（當函式為 F_env 時，先前狀態為 s^act_t+1 ）以及整體任務上下文。也就是說，LLM 始終執行單步預測。上圖 1 演示了研究者使用上下文學習評估 LLM-Sim 任務中模型的效能。他們評估了 GPT-4 在完整狀態和狀態差異預測機制中的準確性。該模型接收先前狀態（編碼為 JSON 物件）、先前操作和上下文訊息，並生成後續狀態（作為完整的 JSON 物件或差異）。下表 2 展示了 GPT-4 模擬完整狀態轉換的準確性，以及單獨模擬動作驅動轉換和環境驅動轉換的準確性。
預測動作驅動轉換比預測環境驅動轉換更容易。在最好的情況下，GPT-4 能夠正確模擬 77.1% 的動態動作驅動轉換。相比之下，GPT-4 最多隻能正確模擬 49.7% 的動態環境驅動轉換。預測靜態轉換比動態轉換更容易。不出所料，在大多數情況下，對靜態轉換進行建模比對動態轉換進行建模要容易得多。對於動態狀態，預測完整遊戲狀態更容易；而對於靜態狀態，預測狀態差異更容易。預測動態狀態的狀態差異可以顯著提高模擬靜態轉換的效能（>10%），而模擬動態轉換時的效能會降低。遊戲規則很重要，LLM 能夠生成足夠好的遊戲規則。當上下文訊息中未提供遊戲規則時，GPT-4 在所有三個模擬任務上的效能在大多數情況下都會下降。GPT-4 在大多數情況下都能預測遊戲進度。下表 3 展示了 GPT-4 預測遊戲進度的結果。在上下文中加入了遊戲規則資訊後，GPT-4 可以在 92.1% 的測試用例中正確預測遊戲進度。這些規則的存在在上下文中至關重要：如果沒有它們，GPT-4 的預測準確率會下降到 61.5%。
人類在 LLM-Sim 任務中的表現優於 GPT-4。研究者對 LLM-Sim 任務進行了初步的人類研究。結果見下表 4。結果發現，人類的整體準確率為 80%，而取樣的 LLM 的準確率為 50%，並且不同註釋者之間的差異很小。這表明，雖然任務對於人類來說總體上是直觀且相對容易的，但對於 LLM 來說仍有很大的改進空間。 
GPT-4 在需要算術、常識或科學知識時更容易出錯。下圖 2 展示了在整體狀態轉換、動作驅動轉換和環境驅動轉換中，預測結果的正確比例、將屬性設定為不正確值的比例或未能更改屬性值的比例。我們可以觀察到，GPT-4 能夠很好地處理大多數簡單的布林值屬性。錯誤集中出現在需要算術（如溫度、timeAboveMaxTemp）、常識（如 current_aperture、current_focus）或科學知識（如 on）的非平凡屬性上。