中國大模型頭名易主：全球盲測榜單上，Yi-Large與GPT-4o中文並列第一
机器之心發表於2024-05-21
上週，一個名為 “im-also-a-good-gpt2-chatbot” 的神秘模型突然現身大模型競技場 Chatbot Arena，排名直接超過 GPT-4-Turbo、Gemini 1 .5 Pro、Claude 3 0pus、Llama-3-70b 等各家國際大廠的當家基座模型。隨後 OpenAI 揭開 “im-also-a-good-gpt2-chatbot” 神秘面紗 —— 正是 GPT-4o 的測試版本，OpenAI CEO Sam Altman 也在 Gpt-4o 釋出後親自轉帖引用 LMSYS arena 盲測擂臺的測試結果。
由開放研究組織 LMSYS Org （Large Model Systems Organization）釋出的 Chatbot Arena 已經成為 OpenAI、Anthropic、Google、Meta 等國際大廠 “龍爭虎鬥” 的當紅擂臺，以最開放與科學的評測方法，在大模型進入第二年之際開放群眾投票。時隔一週，在最新更新的排名中，類 “im-also-a-good-gpt2-chatbot” 的黑馬故事再次上演，這次排名飛速上漲的模型正是由中國大模型公司零一萬物提交的 “Yi-Large” 千億引數閉源大模型。在 LMSYS 盲測競技場最新排名中，零一萬物的最新千億引數模型 Yi-Large 總榜排名世界模型第 7，中國大模型中第一，已經超過 Llama-3-70B、Claude 3 Sonnet；其中文分榜更是與 GPT4o 並列世界第一。零一萬物也由此成為了總榜上唯一一個自家模型進入排名前十的中國大模型企業。在總榜上，GPT 系列佔了前 10 的 4 個，以機構排序，零一萬物 01.AI 僅次於 OpenAI, Google, Anthropic 之後，以開放金標準正式進擊國際頂級大模型企業陣營。 美國時間 2024 年 5 月 20 日剛重新整理的 LMSYS Chatboat Arena 盲測結果，來自至今積累超過 1170 萬的全球使用者真實投票數：
值得一提的是，為了提高 Chatbot Arena 查詢的整體質量，LMSYS 還實施了重複資料刪除機制，並出具了去除冗餘查詢後的榜單。這個新機制旨在消除過度冗餘的使用者提示，如過度重複的 “你好”。這類冗餘提示可能會影響排行榜的準確性。LMSYS 公開表示，去除冗餘查詢後的榜單將在後續成為預設榜單。在去除冗餘查詢後的總榜中， Yi-Large 的 Elo 得分更進一步，與 Claude 3 Opus、GPT-4-0125-preview 並列第四。
值得國人關注的是，國內大模型廠商中，智譜 GLM4、阿里 Qwen Max、Qwen 1.5、零一萬物 Yi-Large、Yi-34B-chat 此次都有參與盲測，在總榜之外，LMSYS 的語言類別上新增了英語、中文、法文三種語言評測，開始注重全球大模型的多樣性。Yi-Large 的中文語言分榜上拔得頭籌，與 OpenAI 官宣才一週的地表最強 GPT4o 並列第一，Qwen-Max 和 GLM-4 在中文榜上也都表現不凡。
在分類別的排行榜中，Yi-Large 同樣表現亮眼。程式設計能力、長提問及最新推出的 “艱難提示詞” 的三個評測是 LMSYS 所給出的針對性榜單，以專業性與高難度著稱，可稱作大模型 “最燒腦” 的公開盲測。在程式設計能力（Coding）排行榜上，Yi-Large 的 Elo 分數超過 Anthropic 當家旗艦模型 Claude 3 Opus，僅低於 GPT-4o，與 GPT-4-Turbo、GPT-4 並列第二。
長提問（Longer Query）榜單上，Yi-Large 同樣位列全球第二，與 GPT-4-Turbo、GPT-4、Claude 3 Opus 並列。
艱難提示詞（Hard Prompts）則是 LMSYS 為了響應社群要求，於此次新增的排行榜類別。這一類別包含來自 Arena 的使用者提交的提示，這些提示則經過專門設計，更加複雜、要求更高且更加嚴格。LMSYS 認為，這類提示能夠測試最新語言模型面臨挑戰性任務時的效能。在這一榜單上，Yi-Large 處理艱難提示的能力也得到印證，與 GPT-4-Turbo、GPT-4、Claude 3 Opus 並列第二。
如何為大模型給出客觀公正的評測一直是業內廣泛關注的話題。為了在固定題庫中取得一份亮眼的評測分數，業內出現了各式各樣的 “刷榜” 方法：將各種各樣的評測基準訓練集直接混入模型訓練集中、用未對齊的模型跟已經對齊的模型做對比等等，對嘗試瞭解大模型真實能力的人，的確呈現 “眾說紛紜” 的現場，更讓大模型的投資人摸不著北。在經過 2023 年一系列錯綜複雜、亂象叢生的大模型評測浪潮之後，業界對於評測集的專業性和客觀性給予了更高的重視。而 LMSYS Org 釋出的 Chatbot Arena 憑藉其新穎的 “競技場” 形式、測試團隊的嚴謹性，成為目前全球業界公認的基準標杆，連 OpenAI 在 GPT-4o 正式釋出前，都在 LMSYS 上匿名預釋出和預測試。在海外大廠高管中，不只 Sam Altman，Google DeepMind 首席科學家 Jeff Dean 也曾引用 LMSYS Chatbot Arena 的排名資料，來佐證 Bard 產品的效能。
OpenAI 創始團隊成員 Andrej Karpathy 甚至公開表示，Chatbot Arena is “awesome”。
自身的旗艦模型釋出後第一時間提交給 LMSYS，這一行為本身就展現了海外頭部大廠對於 Chatbot Arena 的極大尊重。這份尊重既來自於 LMSYS 作為研究組織的權威背書，也來自於其新穎的排名機制。公開資料顯示，LMSYS Org 是一個開放的研究組織，由加州大學伯克利分校的學生和教師、加州大學聖地亞哥分校、卡耐基梅隆大學合作創立。雖然主要人員出自高校，但 LMSYS 的研究專案卻十分貼近產業，他們不僅自己開發大語言模型，還向業內輸出多種資料集（其推出的 MT-Bench 已是指令遵循方向的權威評測集）、評估工具，此外還開發分散式系統以加速大模型訓練和推理，提供線上 live 大模型打擂臺測試所需的算力。在形式上，Chatbot Arena 借鑑了搜尋引擎時代的橫向對比評測思路。它首先將所有上傳評測的 “參賽” 模型隨機兩兩配對，以匿名模型的形式呈現在使用者面前。隨後號召真實使用者輸入自己的提示詞，在不知道模型型號名稱的前提下，由真實使用者對兩個模型產品的作答給出評價，在盲測平臺 https://arena.lmsys.org/ 上，大模型們兩兩相比，使用者自主輸入對大模型的提問，模型 A、模型 B 兩側分別生成兩 PK 模型的真實結果，使用者在結果下方做出投票四選一：A 模型較佳、B 模型較佳，兩者平手，或是兩者都不好。提交後，可進行下一輪 PK。
透過眾籌真實使用者來進行線上實時盲測和匿名投票，Chatbot Arena 一方面減少偏見的影響，另一方面也最大機率避免基於測試集進行刷榜的可能性，以此增加最終成績的客觀性。在經過清洗和匿名化處理後，Chatbot Arena 還會公開所有使用者投票資料。得益於 “真實使用者盲測投票” 這一機制，Chatbot Arena 被稱為大模型業內最有使用者體感的奧林匹克。在收集真實使用者投票資料之後，LMSYS Chatbot Arena 還使用 Elo 評分系統來量化模型的表現，進一步最佳化評分機制，力求公平反應參與者的實力。Elo 評分系統，是一項基於統計學原理的權威性評價體系，由匈牙利裔美國物理學家 Arpad Elo 博士創立，旨在量化和評估各類對弈活動的競技水平。作為當前國際公認的競技水平評估標準，Elo 等級分制度在國際象棋、圍棋、足球、籃球、電子競技等運動中都發揮著至關重要的作用。更通俗地來講，在 Elo 評分系統中，每個參與者都會獲得基準評分。每場比賽結束後，參與者的評分會基於比賽結果進行調整。系統會根據參與者評分來計算其贏得比賽的機率，一旦低分選手擊敗高分選手，那麼低分選手就會獲得較多的分數，反之則較少。透過引入 Elo 評分系統，LMSYS Chatbot Arena 在最大程度上保證了排名的客觀公正。
Chatbot Arena 的評測過程涵蓋了從使用者直接參與投票到盲測，再到大規模的投票和動態更新的評分機制等多個方面，這些因素共同作用，確保了評測的客觀性、權威性和專業性。毫無疑問，這樣的評測方式能夠更準確地反映出大模型在實際應用中的表現，為行業提供了一個可靠的參考標準。此次 Chatbot Arena 共有 44 款模型參賽，既包含了頂尖開源模型 Llama3-70B，也包含了各家大廠的閉源模型。
以最新公佈的 Elo 評分來看，GPT-4o 以 1287 分高居榜首，GPT-4-Turbo、Gemini 1 5 Pro、Claude 3 0pus、Yi-Large 等模型則以 1240 左右的評分位居第二梯隊；其後的 Bard (Gemini Pro)、Llama-3-70b-Instruct、Claude 3 sonnet 的成績則斷崖式下滑至 1200 分左右。值得一提的是，排名前 6 的模型分別歸屬於海外巨頭 OpenAI、Google、Anthropic，零一萬物位列全球第四機構，且 GPT-4、Gemini 1.5 Pro 等模型均為萬億級別超大引數規模的旗艦模型，其他模型也都在大幾千億引數級別。Yi-Large “以小搏大” 以僅僅千億引數量級緊追其後， 5 月 13 日一經發布便衝上世界排名第七大模型，與海外大廠的旗艦模型處於同一梯隊。在 LMSYS Chatbot Arena 截至 5 月 21 日的總榜上，阿里巴巴的 Qwen-Max 大模型 Elo 分數為 1186，排名第 12；智譜 AI 的 GLM-4 大模型 Elo 分數為 1175，排名第 15。在當前大模型步入商業應用的浪潮中，模型的實際效能亟需透過具體應用場景的嚴格考驗，以證明其真正的價值和潛力。過去那種僅要求表面光鮮的 “作秀式” 評測方式已不再具有實際意義。為了促進整個大模型行業的健康發展，整個行業必須追求一種更為客觀、公正且權威的評估體系。在這樣的背景下，一個如 Chatbot Arena 這樣能夠提供真實使用者反饋、採用盲測機制以避免操縱結果、並且能夠持續更新評分體系的評測平臺，顯得尤為重要。它不僅能夠為模型提供公正的評估，還能夠透過大規模的使用者參與，確保評測結果的真實性和權威性。無論是出於自身模型能力迭代的考慮，還是立足於長期口碑的視角，大模型廠商應當積極參與到像 Chatbot Arena 這樣的權威評測平臺中，透過實際的使用者反饋和專業的評測機制來證明其產品的競爭力。這不僅有助於提升廠商自身的品牌形象和市場地位，也有助於推動整個行業的健康發展，促進技術創新和產品最佳化。相反，那些選擇作秀式的評測方式，忽視真實應用效果的廠商，模型能力與市場需求之間的鴻溝會越發明顯，最終將難以在激烈的市場競爭中立足。- LMSYS Chatbot Arena 盲測競技場公開投票地址：https://arena.lmsys.org/
- LMSYS Chatbot Leaderboard 評測排行（滾動更新）：https://chat.lmsys.org/?leaderboard