NeurIPS 2024 | 智慧體不夠聰明怎麼辦？清華&螞蟻團隊：讓它像學徒一樣持續學習

机器之心發表於2024-12-10
智慧體

圖片

AIxiv專欄是機器之心釋出學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報導了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯絡報導。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

此項研究成果已被 NeurIPS 2024 錄用。該論文的第一作者是清華大學計算機系博士生關健（導師：黃民烈教授），目前任螞蟻研究院副研究員，其主要研究領域為文字生成、複雜推理和偏好對齊。

隨著 ChatGPT 掀起的 AI 浪潮進入第三年，人工智慧體（AI Agent）作為大語言模型（LLM）落地應用的關鍵載體，正受到學術界和產業界的持續關注。實際上，早在 5-6 年前，預訓練技術就已經在許多實際任務中取得了顯著成果。但 AI Agent 之所以在當下備受矚目，更多地源於其在自動解決複雜任務方面展現出的巨大潛力，而這種潛力的核心基石正是智慧體的複雜推理能力。

與當下廣受關注的 OpenAI-o1 及其追隨者略有不同，大多數實用的 AI Agent 往往需要在特定場景下發揮作用。這種情況類似於普通人類：雖然不是每個人都需要具備獲得 IMO 金牌的數學素養，但在具體場景下利用特定知識和工具完成複雜任務（例如使用搜尋引擎、處理私有文件等）的能力卻是不可或缺的。這一特點也意味著 AI Agent 的開發者們需要一套既通用又高效的 Agent 構建方法論。

更具挑戰性的是，作為面向實際應用的產品，AI Agent 在部署後還需要能夠隨著應用場景的演進和使用者需求的變化而不斷更新最佳化。這些實際問題都表明，構建一個真正實用的 AI Agent 絕非簡單的提示工程（Prompt Engineering）或模型微調（Fine-tuning）所能解決，而是需要更系統化的方法。

在 NeurIPS 2024 上，來自清華大學和螞蟻集團的研究者針對人工智慧體構建方法的通用性和適應性提出了一個新方案。這個被命名為 AMOR（Adaptable MOdulaR knowledge agent）的系統，不僅能低成本地呼叫專業工具和知識庫，更重要的是，它能像人類一樣持續學習和成長。

圖片
  • 論文標題：AMOR: A Recipe for Building Adaptable Modular Knowledge Agents Through Process Feedback
  • 論文地址：https://arxiv.org/abs/2402.01469
  • 作者主頁：https://jianguanthu.github.io/

AI Agent 的「三大短板」：為什麼它們還不夠「聰明」？

想讓 AI Agent 真正勝任助手角色，僅有海量知識是遠遠不夠的。研究團隊透過深入分析發現，當前 AI Agent 普遍存在三大短板：

  • 「黑盒思維」：與優秀人類助手能清晰展示解題思路不同，AI Agent 的推理過程往往是個黑箱，我們根本無從得知它是如何得出結論的。
  • 「固步自封」：AI Agent 就像被困在訓練時刻的「永恆現在」，無法像人類那樣與時俱進，持續獲取新能力、更新認知。
  • 「粗放糾錯」：當 AI Agent 犯錯時，我們只能籠統地說「答案不對」，而無法像指導學生那樣，精確指出「這一步推理有問題」。

更令人困擾的是，目前業界主流方案都未能同時解決這三大難題。作者對比了當前最具代表性的 AI Agent 框架，它們要麼推理過程不可控，要麼知識固化，要麼反饋機制過於粗糙。這一困境在開源模型中表現得尤為明顯。
圖片
AMOR 和已有構建智慧體的代表性方法的比較

AMOR：基於有限狀態機的模組化推理方案

如何讓 AI Agent 既能像專家一樣嚴謹思考，又能像學徒一樣持續成長？AMOR 框架給出了一個優雅的答案：將複雜的 AI 推理過程拆解成可控的「專家模組」，透過有限狀態機（FSM）編排它們的協作規則，就像精密的齒輪系統一樣，每個部件都完美齧合。
圖片
AMOR 的狀態轉移圖

這種設計帶來三大關鍵優勢：

1. 結構化推理框架

FSM 使得定義步驟間的依賴關係（例如，執行順序、分支選擇）非常方便，因此能夠容易地對錯誤的路徑進行剪枝，從而縮小探索空間，也有潛力更高效地構建類 OpenAI-O1 的長推理鏈。

2. 「雙階段」訓練策略

透過將複雜任務解耦為獨立模組，AMOR 能夠獨立訓練每個模組，從而可以充分利用開源資料集。具體而言，AMOR 採用「預熱 + 適應」兩階段訓練模式：

  • 快速起步 - 預熱階段：就像新員工入職培訓，AMOR 透過在 5 萬個自動構建的樣本上訓練掌握基礎技能。這些樣本被巧妙地分解到各個模組，使得即便是開源語言模型也能快速達到專業水準。
  • 持續進化 - 適應階段：像經驗豐富的職場人一樣，AMOR 在實際工作中不斷成長。每解決一個問題，它就能積累一分經驗，逐步適應特定領域的專業需求。

3. 過程反饋機制

傳統 AI 訓練就像只告訴學生「考試及格 / 不及格」，而不指出具體錯在哪裡。這種粗糙的反饋機制常常導致 AI 像「黑盒」一樣難以診斷問題，訓練效果事倍功半。而 AMOR 引入「過程反饋」機制，在適應訓練階段中，其結構化的推理過程使使用者能夠輕鬆診斷智慧體的錯誤，並提供過程反饋以提高智慧體的推理能力。

4. 框架通用性

AMOR 框架的設計充分考慮了通用性和可擴充套件性。雖然論文主要以文字知識庫為例進行驗證，但其基於 FSM 的模組化設計天然支援多種應用場景的遷移和擴充套件：

  • 知識型別擴充套件：透過定製 FSM 框架內的模組和依賴關係，AMOR 可以靈活支援不同型別的知識庫，如結構化資料庫、多模態知識等。
  • 任務型別擴充套件：除了問答任務外，透過重新設計狀態轉移圖，AMOR 還可以支援其他知識密集型任務，如文件摘要、知識推理等。
  • 工具整合擴充套件：得益於模組化設計，AMOR 可以方便地整合各類專業工具。只需將新工具封裝為對應的工具模組，並在 FSM 中定義其呼叫規則即可。

這種可擴充套件的架構設計使得 AMOR 不僅能夠解決當前的知識推理任務，更為未來接入新的知識源、任務型別和工具能力預留了充足的擴充套件空間。正如論文所述，AMOR 提供了一個構建知識智慧體的通用框架，其核心思想是基於 FSM 的推理邏輯和過程反饋機制，這使得它能夠適應各種不同的應用場景需求。

AMOR 實現：模型結構和訓練過程

AMOR 採用了一種巧妙的「專家混合」架構（Module-Aware Mixture-of-Experts，簡稱 MA-MoE）。這種設計靈感來自人類的專業分工：就像一個人可以是優秀的醫生，同時在其他領域保持基本能力。具體來說，MA-MoE 為每個功能模組配備了獨特的 FFN 引數，並用原始模型的 FFN 引數進行初始化。這就像是在 AI 的「大腦」中劃分了專門的「思維區域」。

  • 在預熱階段，AMOR 用標準的 MLE Loss 在 5 萬個樣本上對 MA-MoE 進行微調。
  • 在適應階段，AMOR 的訓練過程分為三個關鍵步驟：探索、反饋和利用。
圖片
  • 探索（Exploration）：就像學徒需要親自動手實踐，AMOR 會直接處理使用者的實際問題。在這個過程中，AMOR 在知識庫中搜尋相關資訊，進行思考和推理，並推斷答案。
  • 反饋（Feedback Collection）：這個階段就像師傅在旁邊觀察學徒的工作，並給出具體指導，可以直接說「對」或「錯」，也可以具體指出正確答案，並且 AMOR 的每個推理步驟都能得到反饋。
  • 利用（Exploitation）：每處理一定數量的問題後，AMOR 會根據收集到的反饋進行「覆盤」，使用 KTO Loss 將 MA-MoE 和人類偏好對齊。和預熱階段類似，AMOR 的每個模組在最佳化時只調整自己的「專業引數」。

AMOR 實驗：成本更低，效果更好

在 HotpotQA（百科知識問答）、PubMedQA（醫學文獻問答）和 QASPER（論文長文字問答）三個基準測試中，AMOR 展現出優秀的效能：

  • AMOR 的 FSM 框架讓 AI 的推理過程更加清晰可控，比傳統方法提升 30%~40%；
  • 透過在多個開源資料集上預熱，AMOR 甚至超越了用 GPT-4 生成訓練資料的智慧體；
  • 使用過程反饋比結果反饋進行適應更高效：僅需 800 次互動就能達到穩定效果，並且證據收集能力和推理正確率顯著提升。
圖片
AMOR 及基線方法在微調或不微調時的實驗結果

例項展示

下圖比較了 AMOR 和傳統的 ReAct 框架（基於 GPT-3.5）分別回答同一問題的推理過程：
圖片
圖片
AMOR（上）和 ReAct（下）回答同一輸入問題的樣例

如圖所示，沒有明確推理邏輯約束的 ReAct 未能成功分解問題，並在「Thought/Action 5」 中過早地終止檢索。此外，ReAct 在「Thought 2/4/5」中也混合了正確和錯誤的步驟，這使得使用者難以針對性地批評和改進智慧體。相比之下，AMOR 則如同經驗豐富的專家，每一步推理都清晰可控，不僅能準確找到答案，還能接受精確的過程指導，持續提升自己的能力。

成本分析

在 AI 領域，效能提升往往意味著更高的成本。然而，如下圖所示，AMOR 打破了這個「魔咒」。
圖片
不同智慧體的平均步驟數 /token 數對比

為什麼 AMOR 如此高效？想象一個團隊會議：傳統方法（如 ReAct）像是每個人發言都要重複之前所有人說過的話；AMOR 則像是精心設計的會議流程：每個環節只傳遞必要資訊。按照目前 API 呼叫成本計算，使用 GPT-4o 處理 1 萬個問題，AMOR 比 ReAct 節省數百美元；當使用開源模型時，成本可以進一步降低 90% 以上。這意味著 AMOR 不僅在效能上領先，在商業落地時也具有顯著的成本優勢。尤其適合大規模文件處理、客服智慧問答、專業領域諮詢等高頻場景的應用。

結語

本文介紹了 AMOR—— 一個為知識密集型任務設計的模組化智慧體框架。它透過 FSM 推理系統和過程反饋機制，讓 AI 展現出前所未有的推理能力和學習潛力。AMOR 的成功為 AI 助手的發展開闢了新路徑。作者表示，接下來，他們將擴充到更多知識型別（如結構化知識庫）、探索更廣泛的應用場景、研究 AI 自主設計推理邏輯的可能性。這些工作預示著我們正在接近真正的「AI 專家」：既有清晰的推理能力，又能在實踐中持續成長。

相關文章