Ollama 可以在 Windows 上執行了
0. 引言
1. 下載 Ollma 安裝檔案
2. 安裝 Ollama
3. 使用 Ollama
4. (可選)環境變數
5. (可選)修改預設模型
6. (可選)ollama ls 不能正確顯示 OLLAMA_MODELS 設定路徑的模型
0. 引言
Ollama 終於可以在 Windows 上執行了，一直以來都是 “Coming soon”。
執行 Mixtral 8*7B 試了一下，推理速度和推理效果都很不錯。
而且模型的下載速度也很快，我用的聯通1000M網路，大概90M~150M/s波動。
1. 下載 Ollma 安裝檔案
訪問 https://ollama.com/download，選擇 Windows，單擊 “Download for Windows (Preview)” 進行下載。
2. 安裝 Ollama
雙擊下載的 “OllamaSetup.exe”，直接安裝就可以了。
3. 使用 Ollama
訪問 https://ollama.com/library，搜尋你要使用的模型，主流的模型，比如 llama2、qwen1.5、mixtral 等，Ollama都支援。
下面以允許 qwen 為例，我們要執行 7b 的模型，
複製上面紅框的命令並執行，
ollama run qwen:7b
1
問一個問題試試，
4. (可選)環境變數
Ollama 下載的模型模型儲存在 C 盤，如果想更改預設路徑的話，可以透過設定 OLLAMA_MODELS 進行修改。
OLLAMA_MODELS：F:\OllamaCache
還有，Ollama 預設提供 OpenAI 的相容 API，預設埠是 11434，預設只可以透過 localhost 進行訪問，如果想公開訪問的話，可以透過設定 OLLAMA_HOST 進行修改。
OLLAMA_HOST：0.0.0.0
5. (可選)修改預設模型
Ollama 預設提供 OpenAI 的相容 API，預設埠是 11434，預設模型名是 run 後面使用的模型名，如果想使用 OpenAI 的模型名，可以透過ollama cp的方式，為模型起一個臨時的名稱。
例如，
ollama cp mixtral:8x7b-instruct-v0.1-fp16 gpt-4
ollama run gpt-4
1
2
refer: https://github.com/ollama/ollama/blob/main/docs/openai.md
6. (可選)ollama ls 不能正確顯示 OLLAMA_MODELS 設定路徑的模型
在系統環境變數裡設定了 OLLAMA_MODELS，但是執行 ollama ls 不能正確顯示 OLLAMA_MODELS 設定的路徑下面的模型。
經過各種嘗試，發現是 wsl-ubuntu 裡面安裝的 ollama 影響了 windows 的 ollama。
解決方法，登入到 wsl-ubuntu，執行，
systemctl stop ollama
systemctl disable ollama
1
2
完結！
————————————————
版權宣告：本文為博主原創文章，遵循 CC 4.0 BY-SA 版權協議，轉載請附上原文出處連結和本宣告。
原文連結：https://blog.csdn.net/engchina/article/details/136125933