NeurIPS 2024 | 真實世界複雜任務，全新基準GTA助力大模型工具呼叫能力評測

机器之心發表於2024-11-04
大模型
圖片
AIxiv專欄是機器之心釋出學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報導了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯絡報導。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

本篇論文已被 NeurIPS 2024 Dataset & Benchmark Track 接收，作者來自上海交通大學 IWIN 計算智慧團隊和上海人工智慧實驗室。其中，第一作者王驥澤是上海交通大學自動化系一年級博士生，研究方向涉及大模型智慧體、自然語言處理。

利用語言模型呼叫工具，是實現通用目標智慧體（general-purpose agents）的重要途徑，對語言模型的工具呼叫能力提出了挑戰。然而，現有的工具評測和真實世界場景存在很大差距，侷限性主要體現在以下幾個方面：

  • 評估問題通常是 AI 生成的，形式固定；

  • 邏輯鏈簡單，不涉及複雜多步推理；

  • 輸入是純文字形式，模態單一；

  • 沒有部署真實可執行的工具，無法端到端評測。

為了突破這些侷限，來自上海交通大學與上海人工智慧實驗室的研究團隊提出了 GTA（a benchmark for General Tool Agents），一個用於評估通用工具智慧體的全新基準，主要特性包括：

  • 真實的使用者問題

  • 真實部署的工具

  • 多模態輸入輸出

GTA 透過設計真實世界場景的使用者問題、真實部署的工具和多模態輸入，建立了一個全面、細粒度的評估框架，能夠有效評估大語言模型在複雜真實場景下的工具使用能力。
圖片

  • 論文標題：GTA: A Benchmark for General Tool Agents

  • 論文連結：https://arxiv.org/abs/2407.08713

  • 程式碼和資料集連結: https://github.com/open-compass/GTA

  • 專案主頁: https://open-compass.github.io/GTA

  • Hugging Face：https://huggingface.co/datasets/Jize1/GTA

圖片
GTA 中的使用者問題與現有工具評測的使用者問題對比如下表所示。ToolBench 和 m&m's 中的問題明顯地包含了需要呼叫的工具（藍色字）以及步驟（紅色字）。APIBench 中的問題較為簡單，僅包含單個步驟。相較而言，GTA 的問題既是步驟隱含的，也是工具隱含的，並且是基於現實世界場景的、對人類有幫助的任務。
圖片
GTA 的評估結果表明，GPT-4 在面對真實世界問題時僅完成不到 50% 的任務，而大多數模型完成率低於 25%。揭示了現有模型在處理真實世界問題時面臨的工具使用瓶頸，為未來的通用工具智慧體提供了改進方向。

設計準則

GTA 主要有三個核心特性，來評估大語言模型在真實世界場景下的工具使用能力：

  • 真實使用者查詢：包含 229 個人類撰寫的問題，問題具有簡單的真實世界目標，但解決步驟是隱含的，工具也是隱含的，要求模型透過推理來選擇合適的工具並規劃操作步驟。

  • 真實部署的工具：GTA 提供了工具部署平臺，涵蓋感知、操作、邏輯和創作四大類共 14 種工具，能夠真實反映智慧體實際的任務執行效能。

  • 多模態輸入輸出：除了文字，GTA 還引入了空間場景、網頁截圖、表格、程式碼片段、手寫 / 列印材料等多模態輸入，要求模型處理這些豐富的上下文資訊，並給出文字或影像輸出。這使得任務更加接近實際應用場景，進一步提升了評估的真實性和複雜性。

資料集構建

資料集構建流程包含兩個步驟：

1. 問題構建。專家設計問題樣例和標註文件，標註人員按照標註文件中的指示，進行頭腦風暴，基於問題樣例設計更多的問題，最終得到問題集。
2. 答案構建。標註人員手動呼叫部署好的工具，確保每個問題都可以用提供的工具解決。然後，標註人員根據工具呼叫過程和工具返回結果，對每個問題的工具呼叫鏈進行標註。

為了讓評測集更全面地覆蓋真實場景，研究團隊採用了多樣化的擴充套件策略，包括場景多樣化、工具組合多樣化等。最終得到的評測集包含多圖推理、圖表分析、程式設計、視覺互動、網頁瀏覽、數學、創意藝術等多種場景，確保了評估任務的全面性和多樣性。
圖片
問題示例

最終共得到 229 個真實場景下的任務，所有問題都隱含工具和步驟，並且包含多模態上下文輸入。這些任務基於現實世界場景，目標明確且易於理解，完成任務對人類有幫助，但對於 AI 助手來說較為複雜。JSON 格式的資料示例可以在 Hugging Face 上找到。
圖片
圖片
圖片
圖片
模型評測

GTA 在兩種模式下評估語言模型：

  • 逐步模式 (step-by-step mode)。該模式旨在細粒度地評估模型的工具使用能力。在該模式下，ground truth 工具鏈的前 n 步作為 prompt，模型預測第 n + 1 步的操作。在逐步模式下，設計四個指標：InstAcc（指令遵循準確率）、ToolAcc（工具選擇準確率）、ArgAcc（引數預測準確率）和 SummAcc（答案總結準確率）。

  • 端到端模式 (end-to-end mode)。該模式旨在反映智慧體實際執行任務時的表現。在這種模式下，模型會自主呼叫工具並解決問題，而無外部引導。使用 AnsAcc（最終答案准確率）來衡量執行結果的準確性。此外，還計算了工具選擇方面的四個 F1 score：P、L、O、C，分別衡量感知 (Perception)、操作 (Operation)、邏輯 (Logic) 和創作 (Creativity) 類別的工具選擇能力。

圖片
評測結果表明，目前的大語言模型在複雜真實場景任務的工具呼叫上仍存在明顯的侷限性。GPT-4 在 GTA 上僅能完成 46.59% 的任務，而大多數模型僅能完成不到 25% 的任務。

研究團隊發現，目前語言模型在完成 GTA 任務的關鍵瓶頸是引數傳遞準確率。研究人員計算了各指標與最終結果準確率 AnsAcc 之間的皮爾森相關係數，發現 ArgAcc 的相關係數最高，說明引數傳遞是目前大多數模型的瓶頸。例如，Llama-3-70B-Chat 的 InstAcc，ToolAcc，SummAcc 都比 Qwen1.5-14B-Chat 高，但 ArgAcc 比 Qwen1.5-14B-Chat 低，導致最終結果準確率更低。

錯因分析

為了進一步理解模型在引數傳遞上的失誤原因，研究團隊選擇兩個典型模型 GPT-4-1106-Preview 和 Llama-3-8B-Instruct，對它們進行了深入的錯誤原因分析，如下表所示。
圖片
分析顯示，GPT-4 與 Llama-3 的錯誤分佈存在顯著差異。GPT-4 模型傾向於生成 “無動作”（No Action）的響應，在 38.7% 的錯誤中，GPT-4 嘗試與使用者互動，錯誤地認為問題表述不夠明確，要求提供額外資訊。而在 50% 的錯誤中，模型僅生成內部思考過程，而未採取實際行動。

而 Llama-3 的大部分錯誤來自於格式錯誤，特別是呼叫工具或生成最終答案時。45.4% 的錯誤是由於引數未能遵循合法的 JSON 格式。此外，在 16.5% 的情況下，Llama-3 試圖同時呼叫多個工具，這並不被智慧體系統支援。19.6% 的錯誤則源於生成冗餘資訊，導致引數解析不正確。

總結

本文構建了面向複雜真實場景的通用工具智慧體（General Tool Agents）評測基準：

  • 構建了通用工具智慧體的評測資料集。問題由人類設計，是步驟隱含、工具隱含的，且立足於真實世界場景，並提供了多模態語境輸入。每個問題都標註了可執行的工具鏈，以支援細粒度的工具使用能力評測。

  • 提供了包含感知、操作、邏輯、創作類別工具的評測平臺。針對工具呼叫設計了細粒度的評測指標，揭示工具增強的語言模型在真實世界場景中的推理和規劃能力。

  • 評測和分析了主流大語言模型。從多個維度評測了 16 個大語言模型，反映了目前的語言模型在真實世界場景下的工具呼叫能力瓶頸，為通用目標智慧體的發展路徑提供建議。

相關文章