- 一、前言
- 二、環境準備
- 三、安裝設定
- 四、下載模型並執行
- 五、配置 open-webui
- 寫在結尾
一、前言
自 OpenAi 釋出 ChatGPT 對話性大語言模型，AI 這兩年發展迎來爆發，國內外也衍生了大量的語言模型開放給公眾使用。為了可以讓更多人接觸到AI，讓本地化部署更加輕便快捷，於是就有了Ollama、LM Studio等可以在本地部署模型的工具。
相比之下，ollama 需要透過命令進行安裝，下載模型，以及對話， 如果需要 web 介面，可搭配 open-webui 進行配套使用，整套流程下來雖算不上覆雜，但是對於沒有程式設計經驗的人來說，還是需要花費一些時間的。而 LM Studio 對小白使用者更加友好方便，LM Studio 直截了當提供了圖形化介面，並且直接下載 gguf 模型檔案載入就可以直接使用了。當然也可以搭配 open-webui 進行網頁版介面使用。
二、環境準備
系統：Windows\支援Apple M系列晶片\Linux系統
CPU：支援AUX2指令即可
記憶體：16G及以上
視訊記憶體：NvidiaRtx2060 8G及以上,Rtx3060,3070,4060,4070,4080 16G以上
CUDA:CMD->nvidia-smi CUDA Version: 12.2+
硬碟：100G+的固態放模型和LM Studio
三、安裝設定
先去官網地址下載對應平臺的 LM Studio
LM Studio Discover, download, and run local LLMs
下載完成後，不需要安裝，雙擊就直接開啟了。
首次開啟，並沒有大語言模型，需要自己下載模型之後才能使用，需要注意的是，預設模型下載地址是在 C 盤的，如果你的 C 盤空間吃緊，建議修改到其他路徑。修改方式如下：
換源（optional）
這個可選的，如果你不會魔法上網，則需要這一步換源。
在圖示處，右鍵 -> 開啟檔案所在位置。
app-x.x.xx/resources/app/.webpack/
resources/app/.webpack/main/index.js
resources/app/.webpack/main/llmworker.js (0.2.23 及以後版本是llmworker了，之前 unity.js)
resources/app/.webpack/main/worker.js
resources/app/.webpack/renderer/main/main_window/index.js
複製備份這幾個檔案，把其中所有的 huggingface.co 都替換成 hf-mirror.com
然後儲存就行。
四、下載模型並執行
下載模型，比如下載阿里的通義千問
一般會有很多版本，引數量不同，下載的時候根據自己的電腦配置進行選擇。
使用進入 AI Chat 頁面。選擇一個即可。
五、配置 open-webui
如果你只是自己使用，上面的已經夠了。
如果還想讓別人一起使用，並且愛折騰，則可以搭配 open-webui ，用網頁的形式使用。
關於 open-webui 安裝也很簡單，方式有很多，比如使用 docker 或者手動安裝。這裡我採用手動安裝方式。
- 你需要有 python 3.11 的環境，然後透過 pip 安裝。
pip install open-webui
- 開啟 web 介面。
open-webui serve
當你看到如下介面，說明成功了。
然後開啟網址： http://localhost:8080/
正常情況下是沒有問題的，如果你看到如下類似的錯誤頁面：
則再次手動輸入地址 http://127.0.0.1:8080/
看到如上的頁面，說明 open-webui 安裝啟動成功了。
接下來註冊賬號，登入。
配置 LM Studio 和 Open-Webui
在 LocalSever 中以 chat 方式啟動 LM Studio 對話。
看到下面的額日誌則表示啟動成功。複製 ⑤ 中的 url，然後開啟 open-webui 的網頁。一次點選右上角設定 -> 管理員設定 -> 外部連結 。 將複製的 url 配置上去，最後記得儲存。
接下來回到對話頁面，就可以愉快的使用了。
寫在結尾
學習 AIGC 已經很久了。這是我寫的第一篇文章，寫的非常詳細，旨在小白使用者也能搭配好大語言模型的本地環境。然後用起來，提升工作效率。後續會寫更多 AIGC 應用相關的文章。