速度秒掉GPT-4o、22B擊敗Llama 3 70B，Mistral AI開放首個程式碼模型

机器之心發表於2024-05-30
GPTAI模型

開放但禁止商用用途。


對標 OpenAI 的法國 AI 獨角獸 Mistral AI 有了新動作：首個程式碼大模型 Codestral 誕生了。
圖片
作為一個專為程式碼生成任務設計的開放式生成 AI 模型，Codestral 透過共享指令和補全 API 端點幫助開發人員編寫並與程式碼互動。Codestral 精通程式碼和英語，因而可為軟體開發人員設計高階 AI 應用。

Codestral 的引數規模為 22B，遵循新的 Mistral AI Non-Production License，可以用於研究和測試目的，但禁止商用。
圖片
目前，該模型可以在 HuggingFace 上下載。
圖片
  • 下載地址：https://huggingface.co/mistralai/Codestral-22B-v0.1
  • 免費試用地址：https://t.co/LsgC84GCYw

Mistral AI 聯合創始人、首席科學家 Guillaume Lample 表示，Codestral 可以很輕鬆整合到 VS Code 外掛中。
圖片
有使用者將 Codestral 與 GPT-4o 進行了比較，Codestral 速度直接秒了 GPT-4o。

圖片

精通 80 + 程式語言

Codestral 在包含了 80 + 種程式語言的多樣化資料集上訓練，包括 Python、Java、C、C++、JavaScript、Bash 等流行程式語言。此外也在 Swift 和 Fortran 等程式語言上表現良好。

因此，廣泛的語言基礎確保 Codestral 可以在各種編碼環境和專案中為開發人員提供幫助。

Codestral 可以勝任編寫程式碼、 編寫測試並使用中間填充（fill-in-the-middle）機制補全任何程式碼部分，為開發人員節省時間和精力。同時使用 Codestral，還有助於提高開發人員的編碼水平，降低錯誤和 bug 風險。

程式碼生成效能新標準

作為一個 22B 引數的模型，Codestral 與以往的程式碼大模型相比，在程式碼生成效能和延遲空間方面樹立了新標準。

從下圖 1 可以看到，Codestral 的上下文視窗長度為 32k，競品 CodeLlama 70B 為 4k、DeepSeek Coder 33B 為 16k、Llama 3 70B 為 8k。結果顯示，在程式碼生成遠端評估基準 RepoBench 上，Codestral 的表現優於其他模型。
圖片
Mistral AI 還將 Codestral 與現有的特定於程式碼的模型進行了比較，後者需要較高的硬體需求。

在 Python 上的表現。研究者使用 HumanEval pass@1、MBPP sanitised pass@1 基準來評估 Codestral 的 Python 程式碼生成能力；除此以外，研究者還用到了 CruxEval、RepoBench EM 基準評估。

在 SQL 上的表現。為了評估 Codestral 在 SQL 中的效能，研究者使用了 Spider 基準測試。

在其他程式語言上的表現。研究者還在其他六種程式語言（包括 C++、bash、Java、PHP、Typescript 和 C#）中對 Codestral 進行了評估，並計算了這些評估的平均值。
圖片
FIM 基準。研究者還評估了 Codestral 在程式碼片段中間有缺失的情況下補全程式碼的能力，主要是在 Python、JavaScript 和 Java 上進行實驗，結果顯示，Codestral 補全的程式碼，使用者可以立即執行。
圖片
部落格地址：https://mistral.ai/news/codestral/

相關文章