使用open webui+ollama部署本地大模型

DbWong_0918發表於2024-04-25

使用open webui+ollama部署本地大模型

上次使用了angthingllm + ollama部署了本地大模型,詳情見:https://www.cnblogs.com/jokingremarks/p/18151827

但是還是覺得可以用相容性更好的open webui

1.安裝docker

比較懶,所以還是在Windows系統上安裝docker

docker官網連結:
https://www.docker.com/products/docker-desktop/

選擇自己的系統等下載完畢以後就行了

image

啟動虛擬化(Microsoft Hyper-V)

具體操作可以見這個文章的:https://www.cnblogs.com/jokingremarks/p/18156334

直接開啟安裝包,一路點下去即可

重啟電腦以後就可以看到有個這個介面

image

點選accept,然後預設進入即可

如果遇到進不去,介面一直提示docker engine stopped,解決方法見連結:https://www.cnblogs.com/jokingremarks/p/18156334

2.拉取open webui映象

最好配置個阿里雲映象,不然說實話拉取速度感人

阿里雲映象連結:https://cr.console.aliyun.com/cn-hangzhou/instances/mirrors

image

複製這個連結,開啟docker desktop,找到設定,找到Docker Engine,在大括號內輸入

"registry-mirrors": ["複製的網址"],

然後點選Apply &restart可以配置成功

image

open webui的GitHub地址:https://github.com/open-webui/open-webui?tab=readme-ov-file#how-to-install-

找到readme部分

image

因為我們是本機安裝的ollama,所以直接在 PowerShell(管理員執行) 裡面執行

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

等待進度條走完即可

這個時候在docker desktop的Images中就能看到下載的open webui了

image

3.open webui~ 啟動!

啟動就快了,點選run

image

等待載入,在瀏覽器中輸入http://localhost:3000/即可進入

image

剛進去的時候需要註冊,這個地方因為是本地的,所以不會有什麼驗證碼之類的,正常填寫就行

選擇一個模型,這裡你下載的ollama的模型都會在下拉框中

image

這個時候就可以開始問答環節了

image

相關文章