推理效能直逼o1，DeepSeek再次出手，重點：即將開源
机器之心發表於2024-11-21
昨晚，DeepSeek 上線了全新的推理模型 DeepSeek-R1-Lite-Preview ，直接衝擊 OpenAI o1 保持了兩個多月的大模型霸主地位。在美國數學競賽（AMC）中難度等級最高的 AIME 以及全球頂級程式設計競賽（codeforces）等權威評測中，DeepSeek-R1-Lite-Preview 模型已經大幅超越了 GPT-4o 等頂尖模型，有三項成績還領先於 OpenAI o1-preview。更多的強化學習、原生的思維鏈、更長的推理時間，能讓大模型的效能更強，這在領域內已經是廣泛共識。這種模式其實非常像人類大腦的深度思考。與 OpenAI o1 有點不一樣的是，DeepSeek-R1-Lite-Preview 會在回覆中展示「思路鏈」推理，也就是響應查詢和輸入的不同鏈或「思路」，並解釋它在做什麼以及為什麼這樣做。就像是解題時，有人喜歡將每一步驟都詳盡地寫在卷子上，而 DeepSeek-R1-Lite-Preview 更進一步：把內心 OS 也都寫出來了。DeepSeek 官方表示，DeepSeek R1 系列模型使用強化學習訓練，推理過程包含大量反思和驗證，思維鏈長度可達數萬字。已經發布的 DeepSeek-R1-Lite-Preview 使用的是一個較小的基座模型，尚未完全釋放長思維鏈的潛力。對於使用者的 Prompt，DeepSeek-R1-Lite-Preview 會有一個很長的推理過程。如上圖中的紅色實線所示，模型所能達到的準確率與所給定的推理長度呈正相關。且相比於傳統的多次取樣 + 投票（Majority Voting），模型思維鏈長度增加展現出了更高的效率。最驚豔的是，釋出即上線：所有使用者均可透過官網開啟與 DeepSeek-R1-Lite-Preview 的對話，但注意要先在輸入框中開啟「深度思考」模式，每天限制 50 次使用。體驗地址：http://chat.deepseek.com/不得不說，對 o1 直接發起衝擊的 DeepSeek，著實讓國內 AI 社群振奮了一把： 圖源：https://www.zhihu.com/question/4689435060/answer/36575793425由於 DeepSeek-R1-Lite-Preview 目前僅支援網頁使用，沒有釋出完整程式碼供獨立第三方分析或基準測試，也沒有透過 API 提供 DeepSeek-R1-Lite-Preview 以進行同類獨立測試，也沒有解釋 DeepSeek-R1-Lite-Preview 是如何訓練或構建的部落格文章或技術論文，大家心中其實還有許多的「問號」。但 DeepSeek 已經表示，正式版 DeepSeek-R1 模型會完全開源，還會公開技術報告，部署 API 服務。 圖源：https://www.zhihu.com/question/4689435060/answer/36604051127回想起上一次，DeepSeek-V2 的開源和 API 降價，直接引發了國產大模型廠商的降價浪潮。同樣的力度再來一波，不知道大家如何頂住。與 OpenAI o1 相同的是，根據問題的複雜程度，它也需要「思考」數十秒後再回答。雖然有些過程中的思路在人類看來可能毫無意義，甚至是錯誤的，但據初步測評，DeepSeek-R1-Lite-Preview 回覆的最終整體準確率還是比較高的。比如它可以回答 GPT-4o 和 Claude 系列都翻車過的問題 —— 經典陷阱題「Strawberry 這個詞中有多少個字母 R？」和「9.11 和 9.9 哪個更大？」。有使用者在 DeepSeek Chat 上使用這些 Prompt 進行測試，回覆結果和思考用時情況如下： Strawberry 這個詞中有多少個字母 R？用時 29 秒。不過在數草莓的問題上，R1-Lite-Preview 有時也會困惑，數出「只有 2 個 r」的答案：機器之心也實測了一把，似乎對於中文，R1-Lite-Preview 的準確率更高：對於需要動腦的問題，R1-Lite-Preview 的表現也可圈可點，比如它可以破解行測題的邏輯陷阱：由 LeCun 提出的物理題：圓周上均勻分佈了 7 根軸，每根軸上都有一個齒輪。每個齒輪都與其左邊和右邊的齒輪齧合。齒輪從 1 到 7 編號，依次沿圓周排列。問題是：如果齒輪 3 順時針旋轉，問齒輪 7 會沿什麼方向旋轉？接下來，給 R1-Lite-Preview 上點強度，看看它能否笑對大學物理的噩夢：《電磁學千題解》。在 34 秒內，它根據題意列出了對應的公式，得到了正確答案：至於 R1-Lite-Preview 被全球頂級程式設計競賽（codeforces）等權威評測檢驗過的程式碼能力，讓它手撕大廠秋招級別的 Leetcode 經典題「島嶼問題」試一下：然而，相比推理、物理和程式設計，R1-Lite-Preview 的數學能力可能沒那麼讓人放心。比如科技博主 @Transformer - 周問了一道中學水平的數列題，只有 o1 和 o1mini 做對了，R1-Lite-Preview 沒想出關鍵的破題思路，而是「蒙」出了答案。而對於最能考驗人類大腦的深度思考能力的 IMO 國際數學奧林匹克競賽試題，R1-Lite-Preview 的表現是這樣的：這道代數題相當難，全球僅有 5 個人全對。在長達 162 秒的思考過程中，R1-Lite-Preview 洋洋灑灑地把解題思路寫成了一篇小論文，可能它的老師也教過 —— 把解題過程寫上能得一半分。令人遺憾的是，最終答案 c=1 是錯的，正確答案如下：而另一位「解題過程沒寫全」的選手 OpenAI o1 卻給出了正確答案：這說明，DeepSeek-R1-Lite-Preview 仍有進步空間，也更讓我們期待完整版模型的釋出了。各位讀者已經試用了嗎？歡迎在評論區分享有趣的實測案例。https://mp.weixin.qq.com/s/e1YnTxZlzFvjcmrLLTA8fwhttps://venturebeat.com/ai/deepseeks-first-reasoning-model-r1-lite-preview-turns-heads-beating-openai-o1-performance/