前言
對於想要在本地或自託管環境中執行 LLM 的使用者而言，Ollama 提供了一個無需 GPU、在 CPU 環境也可高效完成推理的輕量化 “本地推理” 方案。而要讓 Ollama 真正 “接地氣”，往往需要與其他開源專案進行配合——例如將文件、資料來源或應用前端與 Ollama 打通，這便衍生出許多解決方案。
Ollama 簡介
在進入對比之前，先簡單回顧一下 Ollama 的定位和特性：
本地推理：
- CPU 即可執行：適合 Mac 或 Linux 環境。
- 若無 GPU 的情況下，也能讓開源模型（如 LLaMA、GPT-Neo、Mistral 等）跑起來。
輕量易用：
- 安裝方式簡潔，一鍵下載二進位制檔案或透過 Homebrew、pkg 安裝。
- 只需一個命令列工具就能載入模型並進行對話、推理。
量化最佳化：
- 支援對常見大語言模型做 4-bit 或 8-bit 等量化，進一步降低資源佔用。
發展活躍：
- 在 GitHub 上有不錯的社群支援和更新節奏，適合初中級開發者快速上手。
安裝 Ollama 客戶端
配置環境變數
Ollma可以像其他軟體一樣在電腦上完成一鍵安裝，不同的是，建議按照實際需求配置下系統環境變數引數。
預設的模型儲存路徑在C盤，我們把路徑更改到有更多可用空間的分割槽或目錄，可以更好地管理儲存空間。
- 新增 OLLAMA_MODELS 環境變數改變模型儲存的位置。例如 E:\ollama\models
- 設定完成後重啟 ollama 或 PowerShell，即可完成更改。
用 Ollama 下載模型
首先我們需要安裝 Ollama（https://ollama.com/），它可以在本地執行和管理大模型。
直接下載速度太慢，使用加速，GitHub Proxy 代理加速（https://ghfast.top/）【實測速度超快】：
https://mirror.ghproxy.com/https://github.com/ollama/ollama/releases/download/v0.5.7/OllamaSetup.exe
接下來點選 Ollama 官網左上方的 “Models” 按鈕，會列出支援的各種模型，目前最火的 DeepSeek-R1 排在顯眼位置，點選進入主題頁面：
點選進去後，檢視各個模型，不同模型執行的命令不同，最後部分看你選擇的引數模型。
7b命令：ollama run deepseek-r1:7b
1.5b命令：ollama run deepseek-r1:1.5b
DeepSeek R1 提供多個版本，引數量越大，模型通常越強大，但也需要更多的計算資源，比如 1.5B 代表有 15 億個引數。
具體選擇哪一個看你硬體裝置了。
將本機的電腦配置發給 deepseek，看看它的推薦是哪個模型
選擇好模型之後，點選右側這個按鈕，複製指令，這裡是：ollama run deepseek-r1:1.5b
在 Windows 搜尋欄輸入 “cmd” 回車，喚出命令列視窗：
黏貼執行剛才複製的命令，開始下載，1.5b 模型容量大約 1.1GB，請保持網路暢通：
當介面出現 success 顯示安裝成功。輸入 “你是誰”，看到 deepseek 的回答。
AnythingLLM、Dify、Open-WebUI 簡介
AnythingLLM
- 定位：將本地文件或資料來源整合進一個可檢索、可對話的知識庫，讓 AI 助手 “懂你” 的資料。
主要功能：
- 文件管理：將 PDF、Markdown、Word 等多格式檔案索引進系統。
- 智慧檢索：可基於向量資料庫搜尋相關文件片段，並在聊天時自動引用。
- 介面 +API：既提供使用者友好的前端管理介面，也能透過 API 與其他系統整合。
對接 Ollama 思路：
- 在配置檔案或啟動指令碼中，將 “語言模型推理” 後端地址指定為 Ollama 的本地服務。
- 當使用者發起提問時，AnythingLLM 會先做知識檢索，再將檢索到的上下文傳送給 Ollama 做語言生成。
適用場景：
- 企業內部文件問答、個人知識管理、高度依賴文字內容的問答場景。
Dify
- 定位：多功能的 AI 應用構建平臺，支援多種大語言模型，方便開發者快速搭建 ChatGPT-like 服務或外掛化應用。
主要功能：
- 對話管理：可自定義對話流或應用場景，為不同場景配置不同模型或工作流。
- 外掛擴充套件：支援將其他第三方服務或外掛加入對話流程中，提高可用性。
- 多模型相容：除 Ollama 外，也相容 OpenAI API、ChatGLM 等其他模型。
對接 Ollama 思路：
- 在 “模型管理” 或 “模型配置” 介面/檔案中，新增對 Ollama 的引用，可能需要指定本地執行地址 (如 localhost:port)。
- 使用 Dify 的對話頁面或 API 時，後臺呼叫 Ollama 進行推理，再將結果返回前端。
適用場景：
- 多模型切換、多功能外掛整合；需要視覺化對話配置或工作流管理的團隊與開發者。
Open-WebUI
- 定位：社群驅動的網頁版使用者介面，針對多種本地模型提供視覺化使用入口，類似一個 “本地 ChatGPT 皮膚”。
主要功能：
- 瀏覽器聊天介面：在區域網或本機透過網頁即可與模型互動。
- 支援多後端：LLaMA、GPT-NeoX 等，以及 CPU/GPU 等不同推理環境。
- 外掛/擴充套件機制：在社群裡可找到各式各樣的擴充套件功能（如多語言 UI、模型切換、對話模板等）。
對接 Ollama 思路：
- 通常可在 Open-WebUI 的後臺配置或啟動指令碼中，指定 Ollama 作為推理後端；
- 或使用適配 Ollama 協議的外掛，讓 Open-WebUI 呼叫 Ollama 進行對話。
適用場景：
- 需要 “純聊天 + 模型管理” 介面的普通使用者或開發者；想要單純體驗各種本地模型的人群。
接入 Ollama 的異同
在瞭解了三款工具的基本定位後，再來看看它們在接入 Ollama 時，有哪些不同之處，以及各自的優勢與侷限性。
從上表不難看出：
- AnythingLLM： 更專注於文件知識庫與問答場景，自帶向量檢索管理，可 “多文件整合”，接入 Ollama 後實現本地化問答。
- Dify： 適合對話流管理、外掛化擴充套件、團隊協同等複雜需求。只要能在其後臺正確配置 Ollama 地址，即可靈活呼叫。
- Open-WebUI： 走純粹聊天介面路線，你可以把它當做一個能 “輕鬆切換模型、馬上對話” 的 Web 皮膚，如果只是想單純體驗 Ollama 的生成效果，Open-WebUI 也許是最方便的。
選擇 Anything LLM
- AnythingLLM 是由 Mintplex Labs Inc.開發的一個全棧應用程式，是一款高效、可定製、開源的企業級文件聊天機器人解決方案。它能夠將任何文件、資源或內容片段轉化為大語言模型在聊天中可以利用的相關上下文。
- AnythingLLM 支援幾乎所有的主流大模型和多種文件型別，可定製化，而且安裝和設定簡單。目前適用於 MacOS、Linux 和 Windows 作業系統，也可以使用 Docker 安裝。官方已經做好了各個版本的應用，直接下載對應版本，像正常軟體一樣安裝啟動即可。
安裝 Anything LLM
AnythingLLM 配置
上傳檔案
點選按鈕開始新增文件，並將文件 Move to Workspace，然後點選 Save and Embed，出現 Workspace updated successfully 就表示配置已經完成。
驗證效果
參考資料
https://mp.weixin.qq.com/s/9CqtqRZba3M4R74RkDJwCA
https://mp.weixin.qq.com/s/JUe73lGnnXv-13B8oME_Rg
https://blog.csdn.net/weixin_40280870/article/details/145275600
https://blog.csdn.net/yunfanleo/article/details/144332548
https://mp.weixin.qq.com/s/NuoeidtJKMx6rm0mwKz54w
https://ghproxy.link/