單個4090就能跑，Mistral開源多模態小模型，開發者：用來構建推理模型足夠香

多模態，效能超 GPT-4o Mini、Gemma 3，還能在單個 RTX 4090 上執行，這個小模型值得一試。

小模型正在變得越來越好，而且越來越便宜。

剛剛，法國 AI 創企 Mistral AI 開源了一個 24B 的多模態小模型，該模型在多個基準上擊敗了 Gemma 3 和 GPT-4o Mini 等同類模型，而且推理速度達到了 150 個 token / 秒，稱得上是又好又快。

重要的是，它只需要一個 RTX 4090 或 32GB RAM 的 Mac 就能執行，而且開源協議是 Apache 2.0，因此既能用於研究，也能商用。

具體來說，Mistral Small 3.1 是基於 Mistral Small 3 構建的。與 Mistral Small 3 相比，它的上下文視窗更大，達到了 128k（Mistral Small 3 僅為 32k），文字生成能力得到了改進，還新增了視覺能力。

Mistral 官方表示，Mistral Small 3.1 是一款多功能模型，旨在處理各種生成式 AI 任務，包括指令遵循、對話輔助、影像理解和函式呼叫。它為企業級和消費級 AI 應用提供了堅實的基礎。

目前，部分開發者已經在自己的裝置上完成了部署，並曬出了體驗效果：

Mistral Small 3.1 可在 huggingface 網站 Mistral Small 3.1 Base 和 Mistral Small 3.1 Instruct 上下載。

Mistral Small 3.1 Base：https://huggingface.co/mistralai/Mistral-Small-3.1-24B-Base-2503
Mistral Small 3.1 Instruct：https://huggingface.co/mistralai/Mistral-Small-3.1-24B-Instruct-2503

以下是該模型的詳細資訊。

核心特性

Mistral Small 3.1 具有以下特點：

輕量級：可以在單個 RTX 4090 或具有 32GB RAM 的 Mac 上執行。這使其非常適合端側使用情況。
快速響應能力：非常適合虛擬助手和其他需要快速、準確響應的應用程式。
低延遲函式呼叫：能夠在自動化或智慧體工作流中快速執行函式。
針對專業領域進行微調：Mistral Small 3.1 可以針對特定領域進行微調，打造精準的主題專家。這在法律諮詢、醫療診斷和技術支援等領域尤其有用。
高階推理的基礎：開放的 Mistral 模型已經被開發者用來構建出色的推理模型，比如 Nous Research 的 DeepHermes 24B 就是基於 Mistral Small 3 構建出來的。為了鼓勵這種創新，Mistral AI 釋出了 Mistral Small 3.1 的基礎模型和指令檢查點，以便社群進一步對模型進行下游定製。

Mistral Small 3.1 可用於需要多模態理解的各種 B 端和 C 端應用程式，例如文件驗證、診斷、端側影像處理、質量檢查的視覺檢查、安全系統中的物體檢測、基於影像的客戶支援和通用協助。

效能展示

以下是 Mistral Small 3.1 在文字、多模態、多語言、長上下文等場景中的效能表現情況。

文字指令基準

多模態指令基準

多語言指令基準

預訓練效能

^{參考連結：https://mistral.ai/news/mistral-small-3-1}

相關文章