這裡有一篇介紹還不錯的知乎文章，可以去看下。https://zhuanlan.zhihu.com/p/692343935
1、windows安裝ollama（https://ollama.com/download）
2、選擇下載安裝大模型
3、open-webui：是一個開源的Web介面，用於同各種大語言模型進行互動，並可以同ollama所管理的大語言模型進行快速整合。它提供了一個使用者介面，允許使用者輸入prompt指令，並獲得所選擇模型生成的響應，由於本地化部署，其返回的結果和人工反饋又可以做為人工標註的資料，對開源大模型進行微調和強化學習用的訓練資料。【docker部署】