Ollama本地部署Qwen2.5 14B(使用docker實現Nvidia GPU支援)

Chenleader發表於2024-11-27

前提條件:已經本地安裝好了Ollama。
如果沒有安裝Ollama或者想部署其他的模型或者不想使用docker,,可以參考之前的這篇文章:
https://www.cnblogs.com/Chenlead/p/18571005

安裝過程參考:https://docs.openwebui.com/getting-started/quick-start/

1.docker拉取open-webui映象

在命令列裡用docker拉取含有NVIDIA GPU支援的Open WebUI:
docker run -d -p 3000:8080 --gpus all -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

需要一個下載的過程。

2.執行容器

安裝好之後開啟docker desktop

Containers 裡就可以看到本地的名為open-webui 的容器
點選start 按鈕

或者在cmd裡輸入docker start open-webui

執行成功之後的效果如下圖所示

3.本地訪問

然後在本地訪問3000埠即可:localhost:3000

相關文章