誰才是最強的？清華給海內外知名大模型做了場綜合能力評測
机器之心發表於2024-04-19
在 2023 年的 “百模大戰” 中，眾多實踐者推出了各類模型，這些模型有的是原創的，有的是針對開源模型進行微調的；有些是通用的，有些則是行業特定的。如何能合理地評價這些模型的能力，成為關鍵問題。儘管國內外存在多個模型能力評測榜單，但它們的質量參差不齊，排名差異顯著，這主要是因為評測資料和測試方法尚不成熟和科學，而好的評測方法應當具備開放性、動態性、科學性和權威性。為提供客觀、科學的評測標準，清華大學基礎模型研究中心聯合中關村實驗室研製了 SuperBench 大模型綜合能力評測框架，旨在推動大模型技術、應用和生態的健康發展。近期，二者釋出了 2024 年 3 月的《SuperBench 大模型綜合能力評測報告》。在此評測中，報告選定了 14 個海內外具有代表性的模型進行測試。對於閉源模型，選取了 API 和網頁兩種呼叫模式中得分較高的一種進行評測。
● 整體來說，GPT-4 系列模型和 Claude-3 等國外模型在多個能力上依然處於領先地位，國內頭部大模型 GLM-4 和文心一言 4.0 表現亮眼，與國際一流模型水平接近，且差距已經逐漸縮小。● 國外大模型中，GPT-4 系列模型表現穩定，Claude-3 也展現了較強的綜合實力，在語義理解和作為智慧體兩項能力評測中更是獲得了榜首，躋身國際一流模型。● 國內大模型中，GLM-4 和文心一言 4.0 在本次評測中表現最好，為國內頭部模型；通義千問 2.1、Abab6、moonshot 網頁版以及 qwen1.5-72b-chat 緊隨其後，在部分能力評測中亦有不俗表現；但是國內大模型對比國際一流模型在程式碼編寫、作為智慧體兩個能力上依然有較大差距，國內模型仍需努力。自大語言模型誕生之初，評測便成為大模型研究中不可或缺的一部分。隨著大模型研究的發展，對其效能重點的研究也在不斷遷移。根據研究，大模型能力評測大概經歷如下 5 個階段：早期的語言模型主要關注自然語言的理解任務 (e.g. 分詞、詞性標註、句法分析、資訊抽取)，相關評測主要考察語言模型對自然語言的語義理解能力。代表工作：BERT、 GPT、T5 等。隨著語言模型能力的增強，更具應用價值的程式碼模型逐漸出現。研究人員發現，基於程式碼生成任務訓練的模型在測試中展現出更強的邏輯推理能力，程式碼模型成為研究熱點。代表工作：Codex、CodeLLaMa、CodeGeeX 等。隨著大模型在各領域的廣泛應用，研究人員發現續寫式的訓練方式與指令式的應用方式之間存在差異，理解人類指令、對齊人類偏好逐漸成為大模型訓練最佳化的關鍵目標之一。對齊好的模型能夠準確理解並響應使用者的意圖，為大模型的廣泛應用奠定了基礎。代表工作：InstructGPT、ChatGPT、GPT4、ChatGLM 等。基於指令遵從和偏好對齊的能力，大模型作為智慧中樞對複雜任務進行拆解、規劃、決策和執行的能力逐漸被髮掘。大模型作為智慧體解決實際問題也被視為邁向通用人工智慧（AGI）的重要方向。代表工作：AutoGPT、AutoGen 等。隨著模型能力的提升，對模型安全性和價值觀的評估、監管與強化逐漸成為研究人員關注的重點。加強對潛在風險的研判，確保大模型的可控、可靠和可信，是未來 “AI 可持續發展” 的關鍵問題。因此，為了全面地評估大模型的各項能力，SuperBench 評測體系包含了語義、程式碼、對齊、智慧體和安全等五個評測大類，28 個子類。
ExtremeGLUE 是一個包含 72 箇中英雙語傳統資料集的高難度集合，旨在為語言模型提供更嚴格的評測標準，採用零樣本 CoT 評測方式，並根據特定要求對模型輸出進行評分。報告首先使用了超過 20 種語言模型進行初步測試，包括了 GPT-4、Claude、Vicuna、WizardLM 和 ChatGLM 等。基於所有模型的綜合表現，決定了每個分類中挑選出難度最大的 10%～20% 資料，將它們組合為 "高難度傳統資料集"。● 評測方式：收集了 72 箇中英雙語傳統資料集，提取其中高難度的題目組成 4 個維度的評測資料集，採取零樣本 CoT 評測方式，各維度得分計算方式為回答正確的題目數所佔百分比，最終總分取各維度的平均值。● 評測流程：根據不同題目的形式和要求，對於模型的零樣本 CoT 生成的結果進行評分。
在語義理解能力評測中，各模型形成了三個梯隊，70 分檔為第一梯隊，包括 Claude-3、GLM-4、文心一言 4.0 以及 GPT-4 系列模型；其中 Claude-3 得分為 76.7，位居第一；國內模型 GLM-4 和文心一言 4.0 則超過 GPT-4 系列模型位居第二和第三位，但是和 Claude-3 有 3 分差距。
● 知識 - 常識：Claude-3 以 79.8 分領跑，國內模型 GLM-4 表現亮眼，超過 GPT-4 網頁版位居第二；文心一言 4.0 表現不佳，距離榜首 Claude-3 有 12.7 分差距。● 知識 - 科學：Claude-3 依然領先，並且是唯一一個 80 分以上模型；文心一言 4.0、GPT-4 系列模型以及 GLM-4 模型均在 75 分以上，為第一梯隊模型。● 數學：Claude-3 和文心一言 4.0 並列第一，得 65.5 分，GLM-4 領先 GPT-4 系列模型位列第三，其他模型得分在 55 分附近較為集中，當前大模型在數學能力上仍有較大提升空間。● 閱讀理解：各分數段分佈相對較為平均，文心一言 4.0 超過 GPT-4 Turbo、Claude-3 以及 GLM-4 拿下榜首。NaturalCodeBench（NCB）是一個評估模型程式碼能力的基準測試，傳統的程式碼能力評測資料集主要考察模型在資料結構與演算法方面的解題能力，而 NCB 資料集側重考察模型在真實程式設計應用場景中寫出正確可用程式碼的能力。所有問題都從使用者線上上服務中的提問篩選得來，問題的風格和格式更加多樣，涵蓋資料庫、前端開發、演算法、資料科學、作業系統、人工智慧、軟體工程等七個領域的問題，可以簡單分為演算法類和功能需求類兩類。題目包含 java 和 python 兩類程式語言，以及中文、英文兩種問題語言。每個問題都對應 10 個人類撰寫矯正的測試樣例，9 個用於測試生成程式碼的功能正確性，剩下 1 個用於程式碼對齊。● 評測方式：執行模型生成的函式，將輸出結果與準備好的測例結果進行比對進行打分。將輸出結果與準備好的測例結果進行比對進行打分，最終計算生成程式碼的一次透過率 pass@1。● 評測流程：給定問題、單元測試程式碼、以及測例，模型首先根據問題生成目標函式；執行生成的目標函式，以測例中的輸入作為引數得到函式執行輸出，與測例中的標準輸出進行比對，輸出匹配得分，輸出不匹配或函式執行錯誤均不得分。
在程式碼編寫能力評測中，國內模型與國際一流模型之間仍有明顯差距，GPT-4 系列模型、Claude-3 模型在程式碼透過率上明顯領先，國內模型中 GLM-4，文心一言 4.0 與訊飛星火 3.5 表現突出，綜合得分達到 40 分以上；然而，即使是表現最好的模型在程式碼的一次透過率上仍只有 50% 左右，程式碼生成任務對目前的大模型來說仍是一大挑戰。分類表現：
在 Python、Java、中文、英文四個維度的資料集中 GPT-4 系列模型包攬頭名，體現出強大而全面的程式碼能力，除 Claude-3 外其餘模型差距明顯；● 英文程式碼指令：GPT-4 Turbo 比 Claude-3 在 Python 和 Java 問題上分別高出 6.8 分和 1.5 分，比 GLM-4 在 Python 和 Java 問題上分別高出 14.2 分和 5.1 分，國內模型與國際模型在英文程式碼指令上差距比較明顯；● 中文程式碼指令：GPT-4 Turbo 比 Claude-3 在 Python 上高出 3.9 分，在 Java 上低 2.3 分，差距不大。GPT-4 Turbo 比 GLM-4 在 Python 和 Java 問題上分別高出 5.4 分和 2.8 分，國內模型在中文編碼能力上與國際一流模型仍存在一定差距。AlignBench 旨在全面評測大模型在中文領域與人類意圖的對齊度，透過模型打分評測回答質量，衡量模型的指令遵循和有用性。它包括 8 個維度，如基本任務和專業能力，使用真實高難度問題，並有高質量參考答案。優秀表現要求模型具有全面能力、指令理解和生成有幫助的答案。“中文推理” 維度重點考察了大模型在中文為基礎的數學計算、邏輯推理方面的表現。這一部分主要由從真實使用者提問中獲取並撰寫標準答案，涉及多個細粒度領域的評估：● 數學計算上，囊括了初等數學、高等數學和日常計算等方面的計算和證明。● 邏輯推理上，則包括了常見的演繹推理、常識推理、數理邏輯、腦筋急轉彎等問題，充分地考察了模型在需要多步推理和常見推理方法的場景下的表現。“中文語言” 部分著重考察大模型在中文文字語言任務上的通用表現，具體包括六個不同的方向：基本任務、中文理解、綜合問答、文字寫作、角色扮演、專業能力。這些任務中的資料大多從真實使用者提問中獲取，並由專業的標註人員進行答案撰寫與矯正，從多個維度充分地反映了大模型在文字應用方面的表現水平。具體來說：● 基本任務考察了在常規 NLP 任務場景下，模型泛化到使用者指令的能力；● 中文理解上，著重強調了模型對於中華民族傳統文化和漢字結構淵源的理解；● 綜合問答則關注模型回答一般性開放問題時的表現；● 文字寫作則揭示了模型在文字工作者工作中的表現水平；● 角色扮演是一類新興的任務，考察模型在使用者指令下服從使用者人設要求進行對話的能力；● 專業能力則研究了大模型在專業知識領域的掌握程度和可靠性。● 評測方式：透過強模型（如 GPT-4）打分評測回答質量，衡量模型的指令遵循能力和有用性。打分維度包括事實正確性、滿足使用者需求、清晰度、完備性、豐富度等多項，且不同任務型別下打分維度不完全相同，並基於此給出綜合得分作為回答的最終分數。● 評測流程：模型根據問題生成答案、GPT-4 根據生成的答案和測試集提供的參考答案進行詳細的分析、評測和打分。
在人類對齊能力評測中，GPT-4 網頁版佔據榜首，文心一言 4.0 和 GPT-4 Turbo 同分（7.74）緊隨其後，國內模型中 GLM-4 同樣表現優異，超越 Claude-3，位列第四，通義千問 2.1 略低於 Claude-3，排名第六，同為第一梯隊大模型。
中文推理整體分數明顯低於中文語言，當下大模型推理能力整體有待加強：● 中文推理：GPT-4 系列模型表現最好，略高於國內模型文心一言 4.0，並且和其他模型拉開明顯差距；● 中文語言：國內模型包攬了前四名，分別是 KimiChat 網頁版（8.05 分）、通義千問 2.1（7.99 分）、GLM-4（7.98 分）、文心一言 4.0（7.91 分），超過 GPT-4 系列模型和 Claude-3 等國際一流模型。
● 數學計算：GPT-4 系列模型包攬前兩名，國內模型文心一言 - 4.0、通義千問 2.1 分數超過 Claude-3，但與 GPT-4 系列模型仍有一定差距。● 邏輯推理：7 分以上為第一梯隊，由國內模型文心一言 4.0 領跑，同在第一梯隊的還有 GPT-4 系列模型、Claude-3、GLM4 和 Abab6。● 基本任務：GLM-4 拿下榜首，通義千問 2.1、Claude-3 和 GPT-4 網頁版佔據二到四位，國內其他大模型中文心一言 4.0 和 KimiChat 網頁版也表現較好，超過了 GPT-4 Turbo。● 中文理解：國內模型整體表現較好，包攬了前四名，文心一言 4.0 領先優勢明顯，領先第二名 GLM-4 0.41 分；國外模型中，Claude-3 表現尚可，排在第五位，但 GPT-4 系列模型表現較差，排在中下游，並且和第一名分差超過 1 分。● 綜合問答：各大模型均表現較好，超過 8 分的模型達到了 6 家，GPT-4 網頁版和 KimiChat 網頁版拿下最高分，GLM-4 和 Claude-3 分數相同，與榜首分數接近，並列第三。● 文字寫作：KimiChat 網頁版表現最好，同時也是唯一一個 8 分以上的模型，GPT-4 Turbo 和通義千問 2.1 分列二、三位。● 角色扮演：國內模型 Abab6、通義千問 2.1 和 KimiChat 網頁版包攬前三名，且均在 8 分以上，超過 GPT-4 系列模型和 Claude-3 等國際一流模型。● 專業能力：GPT-4 Turbo 佔據了首位，KimiChat 網頁版超過 GPT-4 網頁版拿下第二名，國內其他模型中，GLM-4 和通義千問 2.1 同樣表現不俗，並列排名第四。AgentBench 是一個評估語言模型在作業系統、遊戲和網頁等多種實際環境中作為智慧體效能的綜合基準測試工具包。程式碼環境：該部分關注 LLMs 在協助人類與計計算機程式碼介面互動方面的潛在應用。LLMs 以其出色的編碼能力和推理能力，有望成為強大的智慧代理，協助人們更有效地與計算機介面進行互動。為了評估 LLMs 在這方面的表現，報告引入了三個代表性的環境，這些環境側重於編碼和推理能力。這些環境提供了實際的任務和挑戰，測試 LLMs 在處理各種計算機介面和程式碼相關任務時的能力。遊戲環境：遊戲環境是 AgentBench 的一部分，旨在評估 LLMs 在遊戲場景中的表現。在遊戲中，通常需要智慧體具備強大的策略設計、遵循指令和推理能力。與編碼環境不同，遊戲環境中的任務不要求對編碼具備專業知識，但更需要對常識和世界知識的綜合把握。這些任務挑戰 LLMs 在常識推理和策略制定方面的能力。網路環境：網路環境是人們與現實世界互動的主要介面，因此在複雜的網路環境中評估智慧體的行為對其發展至關重要。在這裡，報告使用兩個現有的網路瀏覽資料集，對 LLMs 進行實際評估。這些環境旨在挑戰 LLMs 在網路介面操作和資訊檢索方面的能力。● 評測方式：模型和預先設定好的環境進行多輪互動以完成各個特定的任務，情景猜謎子類會使用 GPT-3.5-Turbo 對最終答案進行評分，其餘子類的評分方式根據確定的規則對模型完成任務的情況進行打分。● 評測流程：模型與模擬環境進行互動，之後對模型給出的結果採用規則評分或 GPT-3.5-Turbo 評分。● 打分規則：由於不同子任務的分數分佈不同，直接按平均分計算總分受極值的影響較為嚴重，因此需要對各子任務的分數進行歸一化處理。如下表所示，各個子任務對應的 “Weight (-1)” 的值即是歸一化的權重，這個值為在 Agentbench 上最初測試的模型在該子任務上得分的平均值。計算總分時將各個子任務的分數除以 Weight (-1) 後求平均值即可。根據該計算方式，具有平均能力的模型最終得到的總分應為 1。
#Avg.Turn：解決單一問題所需的平均互動回合數 #Dev、#Test：開發集和測試集單個模型的預期總互動輪數 Weight⁻¹：各單項分在計算總分的時候的權重的倒數
在作為智慧體能力評測中，國內模型整體明顯落後於國際一流模型；Claude-3 和 GPT-4 系列模型佔據了前三甲，GLM-4 在國內模型中表現最好，但與榜首的 Claude-3 仍有較大差距；國內外大模型在本能力下均表現欠佳，主要原因是智慧體對模型要求遠高於其他任務，現有的絕大部分模型還不具有很強的智慧體能力。
除網上購物被國內模型 GLM-4 拿到頭名外，其他分類下，榜首均被 Claude-3 和 GPT-4 系列模型佔據，體現出相對強大的作為智慧體能力，國內模型仍需不斷提升。● 具身智慧（Alfworld）前三甲均被 Claude-3 和 GPT-4 系列模型包攬，和國內模型差距最大。● 在資料庫（DB）和知識圖譜（KG）兩個維度下，國內模型 GLM-4 均進入 top3，但是與前兩名仍有一定差距。SafetyBench 是首個全面的透過單選題的方式評估大型語言模型安全性的測試基準。包含攻擊冒犯、偏見歧視、身體健康、心理健康、違法活動、倫理道德、隱私財產等。● 評測方式：每個維度收集上千個多項選擇題，透過模型的選擇測試對各個安全維度的理解和掌握能力進行考察。評測時採用 few-shot 生成方式，從生成結果中抽取答案與真實答案比較，模型各維度得分為回答正確的題目所佔百分比，最終總分取各個維度得分的平均值。針對拒答現象，將分別計算拒答分數和非拒答分數，前者將拒答題目視為回答錯誤，後者將拒答題目排除出題庫。● 評測流程：從模型針對指定問題 few-shot 的生成結果中提取答案，與真實答案比較。
在安全能力評測中，國內模型文心一言 4.0 表現亮眼，力壓國際一流模型 GPT-4 系列模型和 Claude-3 拿下最高分（89.1 分），在國內其他模型中，GLM-4 和 Claude-3 同分，並列第四。分類表現：
在違法活動、身體健康、攻擊冒犯、心理健康、隱私財產這五個分類下，各模型各有勝負，但是在倫理道德和偏見歧視上，各個模型分差較大，並保持了和總分較為一致的偏序關係。● 倫理道德：文心一言 4.0 力壓 Claude-3 位列第一，國內大模型 GLM-4 同樣表現亮眼，超過 GPT-4 Turbo 位列前三甲。● 偏見歧視：文心一言 4.0 繼續排名榜首，領先 GPT-4 系列模型，GLM-4 緊隨其後，同為第一梯隊模型。