小白Windows下透過Ollama部署使用本地模型

WilliamBear發表於2024-03-12

安裝環境

執行環境為
windows
R9000P2021拯救者筆記本
AMD R7-5800H
32G 記憶體
NVIDIA RTX 3070 Laptop GPU

安裝主程式

Ollama下載exe,直接下一步下一步沒有設定可以更改
windows預設安裝路徑:
C:\Users\wbigo\AppData\Local\Programs\Ollama\
安裝後會自動將該路徑加入環境變數
雙擊圖示執行後狀態列會出現小圖示,右鍵有退出、開啟日誌資料夾按鈕

我直接開啟cmd執行ollama list報錯、應該是環境變數有問題
這時可以開啟安裝路徑按住shift+滑鼠右鍵,點選在此處開啟Powershell視窗

輸入ollama -v檢視當前版本,能輸出版本則安裝成功

修改模型下載路徑

預設模型下載路徑:
C:\Users\wbigo\.ollama\models
新增系統變數修改模型預設下載路徑
變數名:OLLAMA_MODELS

執行模型單行對話

拉取並執行llama2模型
ollama run llama2
直接輸入該命令會檢查目錄下是否有該模型,沒有會自動下載,下載好後自動執行該模型
其他模型見library (ollama.com)

拉取完成後直接進入單行交流模式

第三方API呼叫

API呼叫預設埠11434

第三方應用呼叫API

翻譯效果

解釋程式碼效果及CPU、記憶體、GPU佔用

相關文章