部署機器硬體情況：
記憶體 :32GB
顯示卡 :3060
為什麼不使用docker：
1.網上教程大多以docker為主
2.安裝docker的時間太長，在等待的時候順便嘗試一下不用docker的部署
1.安裝Ollama
下載地址：https://ollama.com/
下載好之後預設安裝即可。
Ollama常用命令
【跟docker差不多，初次安裝的話這邊可以忽略，先看下面的】
ollama serve # 啟動ollama
ollama create # 從模型檔案建立模型
ollama show # 顯示模型資訊
ollama run # 執行模型，會先自動下載模型
ollama pull # 從註冊倉庫中拉取模型
ollama push # 將模型推送到註冊倉庫
ollama list # 列出已下載模型
ollama ps # 列出正在執行的模型
ollama cp # 複製模型
ollama rm # 刪除模型
2.下載模型
Ollama模型庫類似於Docker託管映象的Docker Hub。
連結：https://ollama.com/library/qwen2.5-coder:14b
複製這邊的命令來拉取模型並執行。
第一次執行的時候需要下載。
3.啟動
ollama run qwen2.5-coder:14b
正常啟動大概15秒左右。
下載好之後即可執行。
可以正常對其進行提問。
輸入/? 檢視常用指令
4.Open-webui實現視覺化
官方github介面 ：https://github.com/open-webui/open-webui?tab=readme-ov-file
官方文件 ：https://docs.openwebui.com/getting-started/
具體參考Quick Start 的內容：https://docs.openwebui.com/getting-started/quick-start/
0.安裝anaconda並開啟anaconda prompt
開啟之後預設使用的環境是base
1.建立一個名為open-webui 的Python3.11的環境：
conda create -n open-webui python=3.11
安裝好之後可以透過conda env list來檢視
2.切換並啟用到這個環境
conda activate open-webui
3.安裝open-webui 庫
pip install open-webui
花費的時間比較長，10min左右。
4.啟動服務
open-webui serve
初次啟動也需要花費一點時間，啟動成功之後即可看到8080埠。
5.訪問webui介面
在瀏覽器裡輸入localhost:8080 即可正常訪問。
第一次登入會要求輸入使用者名稱、郵箱和密碼，之後每次登入都會要求輸入郵箱和密碼。
左上角可以切換安裝好的模型。
