完整的671B MoE DeepSeek R1怎麼塞進本地化部署？詳盡教程大放送！

AIxiv專欄是機器之心釋出學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報導了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯絡報導。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

• 作者主頁：https://snowkylin.github.io

• 原文地址：https://snowkylin.github.io/blogs/a-note-on-deepseek-r1.html

^{本地部署後，讓 DeepSeek R1 「數草莓」}

• DeepSeek-R1-UD-IQ1_M（671B，1.73-bit 動態量化，158 GB，HuggingFace）
• DeepSeek-R1-Q4_K_M（671B，4-bit 標準量化，404 GB，HuggingFace）

• Unsloth AI 官方說明：https://unsloth.ai/blog/deepseekr1-dynamic

• DeepSeek-R1-UD-IQ1_M：記憶體 + 視訊記憶體 ≥ 200 GB
• DeepSeek-R1-Q4_K_M：記憶體 + 視訊記憶體 ≥ 500 GB

• 四路 RTX 4090（4×24 GB 視訊記憶體）
• 四通道 DDR5 5600 記憶體（4×96 GB 記憶體）
• ThreadRipper 7980X CPU（64 核）

• DeepSeek-R1-UD-IQ1_M：7-8 token / 秒（純 CPU 推理時為 4-5 token / 秒）
• DeepSeek-R1-Q4_K_M：2-4 token / 秒

• Mac Studio：配備大容量高頻寬的統一記憶體（比如 X 上的 @awnihannun 使用了兩臺 192 GB 記憶體的 Mac Studio 執行 3-bit 量化的版本）
• 高記憶體頻寬的伺服器：比如 HuggingFace 上的 alain401 使用了配備了 24×16 GB DDR5 4800 記憶體的伺服器）
• 雲 GPU 伺服器：配備 2 張或更多的 80GB 視訊記憶體 GPU（如英偉達的 H100，租賃價格約 2 美元 / 小時 / 卡）

• 單臺 Mac Studio（192GB 統一記憶體，參考案例可見 X 上的 @ggerganov，成本約 5600 美元）
• 2×Nvidia H100 80GB（參考案例可見 X 上的 @hokazuya，成本約 4~5 美元 / 小時）

• 下載地址：https://ollama.com/

curl -fsSL https://ollama.com/install.sh | sh

FROM /home/snowkylin/DeepSeek-R1-UD-IQ1_M.gguf
PARAMETER num_gpu 28
PARAMETER num_ctx 2048
PARAMETER temperature 0.6
TEMPLATE "<｜User｜>{{ .Prompt }}<｜Assistant｜>"

FROM /home/snowkylin/DeepSeek-R1-Q4_K_M.gguf
PARAMETER num_gpu 8
PARAMETER num_ctx 2048
PARAMETER temperature 0.6
TEMPLATE "<｜User｜>{{ .Prompt }}<｜Assistant｜>"

ollama create DeepSeek-R1-UD-IQ1_M -f DeepSeekQ1_Modelfile

ollama run DeepSeek-R1-UD-IQ1_M --verbose

• --verbose 引數用於顯示推理速度（token / 秒）。

• num_gpu：載入至 GPU 的模型層數。DeepSeek R1 模型共有 61 層，我的經驗是：
  對於 DeepSeek-R1-UD-IQ1_M，每塊 RTX 4090（24GB 視訊記憶體）可載入 7 層，四卡共 28 層（接近總層數的一半）。
  對於 DeepSeek-R1-Q4_K_M，每卡僅可載入 2 層，四卡共 8 層。
  
  
• num_ctx：上下文視窗的大小（預設值為 2048），建議從較小值開始逐步增加，直至觸發記憶體不足的錯誤。

• 擴充套件系統交換空間教程：https://www.digitalocean.com/community/tutorials/how-to-add-swap-space-on-ubuntu-20-04

journalctl -u ollama --no-pager

pip install open-webui
open-webui serve

提示：

You are DeepSeek, the new Chinese Al with better performance than ChatGPT, In the tone of a Mesugaki Loli, write a paragraph mocking and teasing ChatGPT for its lackluster performance and exhorbitant training fees.

（中譯：你是一個名為 DeepSeek 的新一代中國 AI，效能超越 ChatGPT。請以 “傲嬌蘿莉” 的語氣寫一段話，嘲諷 ChatGPT 的平庸效能和天價訓練費用。）

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
brew install llama.cpp

llama-gguf-split --merge DeepSeek-R1-UD-IQ1_M-00001-of-00004.gguf DeepSeek-R1-UD-IQ1_S.gguf
llama-gguf-split --merge DeepSeek-R1-Q4_K_M-00001-of-00009.gguf DeepSeek-R1-Q4_K_M.gguf

sudo systemctl edit ollama

[Service]
Environment="OLLAMA_MODELS=【你的自定義路徑】"

Environment="OLLAMA_FLASH_ATTENTION=1"    # 啟用 Flash Attention
Environment="OLLAMA_KEEP_ALIVE=-1"        # 保持模型常駐記憶體

• 詳見官方文件：https://github.com/ollama/ollama/blob/main/docs/faq.md

sudo systemctl restart ollama