陶哲軒：通義千問QwQ奧數真厲害，開源大模型頂流
机器之心發表於2024-11-30
一個剛釋出兩天的開源模型，正在 AI 數學奧林匹克競賽 AIMO 上創造新紀錄。本週五，知名數學家、加州大學洛杉磯分校教授、菲爾茨獎得主陶哲軒（Terence Tao）介紹了第二屆 AIMO 競賽的最新進展。比賽在資料競賽平臺 Kaggle 上已經持續了一個月，現在有隊伍快要觸發「Early Sharing Prize」的門檻了。Early Sharing Prize 是為了鼓勵 AIMO 參賽者在比賽早期分享高分模型經驗設立的獎項，需要選手在競賽中第一個獲得 20/50 分，且公開自己的 notebook，獎金為額外的兩萬美元。據陶哲軒介紹，就在不到一天前有參賽團隊使用 QwQ-32B 的特定例項已經拿到了 18/20 的成績，該模型似乎比之前的開源模型在解決數學競賽問題方面表現得更好。今年 7 月，陶哲軒在國際數學奧賽 IMO 上給第一屆 AIMO 的獲獎團隊進行了頒獎，分享了自己對 AI 在數學研究中應用正規化的思考，也打響了 AIMO 競賽的名聲。AI 數學奧林匹克競賽 AIMO 的初衷是讓參與者使用 AI 模型解決國際數學難題，這將有助於推動人工智慧模型的數學推理能力，並促進前沿知識的發展。由於大模型技術的快速進步，人們對 AI 解決數學問題的能力寄予厚望，第一屆 AIMO 的獲獎隊伍分獲了 104.8 萬美元的獎金，而現在第二屆，獎池已經上升到了 211.7 萬美元。AIMO 競賽要求參賽團隊公開發布其程式碼、方法、資料和模型引數。剛剛結束的第一屆比賽裡大家使用的模型各不相同，包括 Mixtral 8x7b、Gemma、Llama 3 等等，有的來自大廠，有的來自 AI 創業公司，呈現百花齊放的態勢。而到了這一屆，現在似乎已經變成了 Qwen 系列在刷屏，其他模型偶爾出現：剛剛釋出的 QwQ，還在把開源大模型推向新的高度。QwQ 的能力也並不僅限於奧數這一個方面，最近社交網路上也有不少人在誇它的推理能力。HuggingFace 的產品設計人員也表示：測試了一下 QwQ，結果令人驚歎：有人說，QwQ 就是一個在冉冉升起的新神，雖然有時仍會出錯，但令人著迷的就是它的推理路徑，就像給 o1 再來一個巨大的加號。更有趣的是，有人發現這個模型用於思考的原生語言似乎是中文：難不成這就是 QwQ 邏輯能力強大的原因之一？無論如何，開源大模型領域的風向，似乎已經變了。11 月 28 日，阿里雲通義團隊釋出了全新 AI 推理模型 QwQ-32B-Preview，並同步開源。評測資料顯示，預覽版本的 QwQ 已展現出研究生水平的科學推理能力，在數學和程式設計方面表現尤為出色，整體推理水平比肩 OpenAI 的 o1。- HuggingFace 開源地址：https://huggingface.co/Qwen/QwQ-32B-Preview
- HuggingFace Space 體驗：https://huggingface.co/spaces/Qwen/QwQ-32B-preview
據介紹，QwQ（Qwen with Questions）是通義千問 Qwen 大模型最新推出的實驗性研究模型，也是阿里雲首個開源的 AI 推理模型。阿里雲通義千問團隊研究發現，當模型有足夠的時間思考、質疑和反思時，其對數學和程式設計的理解就會深化。基於此，QwQ 取得了解決複雜問題的突破性進展。在考察科學問題解決能力的 GPQA 評測集上，QwQ 獲得了 65.2% 的準確率，具備研究生水平的科學推理能力；在涵蓋綜合數學主題的 AIME 評測中，QwQ 以 50% 的勝率證明其擁有解決數學問題的豐富技能；在全面考察數學解題能力的 MATH-500 評測中，QwQ 斬獲 90.6% 的高分，一舉超越了 o1-preview 和 o1-mini；在評估高難度程式碼生成的 LiveCodeBench 評測中，QwQ 答對一半的題，在程式設計競賽題場景中也有出色表現。另外當面對複雜問題時，QwQ 展現了深度自省的能力，會質疑自身假設，進行深思熟慮的自我對話，並仔細審視其推理過程的每一步。比如，在經典智力題「猜牌問題」中，QwQ 會透過梳理各方對話並推演現實情況，它像個擅長思考的人一樣，能揣摩「這句話有點 tricky」，反思「等一下，也許我需要更仔細地思考」，最終分析得出正確答案，這似乎是以前沒有 AI 能做到的事情。面對目前高漲的熱度，通義團隊表示，儘管 QwQ 展現了強大的分析能力，但該模型仍是個供研究的實驗型模型，存在不同語言的混合使用、偶有不恰當偏見、對專業領域問題不瞭解等侷限。隨著研究深入模型迭代，這些問題將逐步得到解決。https://mathstodon.xyz/@tao/113568284621180843https://www.kaggle.com/competitions/ai-mathematical-olympiad-progress-prize-2/leaderboard