使用open webui+ollama部署本地大模型
上次使用了angthingllm + ollama部署了本地大模型,詳情見:https://www.cnblogs.com/jokingremarks/p/18151827
但是還是覺得可以用相容性更好的open webui
1.安裝docker
比較懶,所以還是在Windows系統上安裝docker
docker官網連結:
https://www.docker.com/products/docker-desktop/
選擇自己的系統等下載完畢以後就行了
啟動虛擬化(Microsoft Hyper-V)
具體操作可以見這個文章的:https://www.cnblogs.com/jokingremarks/p/18156334
直接開啟安裝包,一路點下去即可
重啟電腦以後就可以看到有個這個介面
點選accept,然後預設進入即可
如果遇到進不去,介面一直提示docker engine stopped,解決方法見連結:https://www.cnblogs.com/jokingremarks/p/18156334
2.拉取open webui映象
最好配置個阿里雲映象,不然說實話拉取速度感人
阿里雲映象連結:https://cr.console.aliyun.com/cn-hangzhou/instances/mirrors
複製這個連結,開啟docker desktop,找到設定,找到Docker Engine,在大括號內輸入
"registry-mirrors": ["複製的網址"],
然後點選Apply &restart可以配置成功
open webui的GitHub地址:https://github.com/open-webui/open-webui?tab=readme-ov-file#how-to-install-
找到readme部分
因為我們是本機安裝的ollama,所以直接在 PowerShell(管理員執行) 裡面執行
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
等待進度條走完即可
這個時候在docker desktop的Images中就能看到下載的open webui了
3.open webui~ 啟動!
啟動就快了,點選run
等待載入,在瀏覽器中輸入http://localhost:3000/
即可進入
剛進去的時候需要註冊,這個地方因為是本地的,所以不會有什麼驗證碼之類的,正常填寫就行
選擇一個模型,這裡你下載的ollama的模型都會在下拉框中
這個時候就可以開始問答環節了