你是不是苦於沒法使用ChatGPT?或者訪問了ChatGPT卻沒法使用GPT4?現在一切問題都可以解決了!
4月18日,Meta釋出兩款開源Llama 3 8B與Llama 3 70B模型,供外部開發者免費使用。這個訊息轟動了全球開發者。按照Meta的說法,Llama 3 8B和Llama 3 70B是目前同體量下,效能最好的開源模型。
所以Llama3成了ChatGPT最好的平替。
本文教你一步一步在本地部署目前最先進的開源大模型llama3,讓你再也不用忍受網路問題,且可以無限制使用大模型。非常簡單,包教包會。
先講下作者的開發環境:記憶體 32G,視訊記憶體22G,Windows
1. 安裝docker
什麼是docker?
簡單來講,可以將docker理解為輕量版的虛擬機器。也許你曾經遇到過,使用某一個軟體的時候環境不通、還要安裝各種依賴等等問題,經常會導致卡在某一步無法進行。所以容器化很好的解決了這個問題,會將你需要的環境、前置的依賴等等打包成映象,你可以在容器中直接執行。
首先訪問docker官網,下載docker桌面版。
下載完成後雙擊開啟直接安裝。
上圖是我已經安裝成功了。
2. 安裝ollama
隨著LLM發展越來越快,一些優秀的開源大語言基座模型得到了廣泛應用。比如meta釋出的llama3,google釋出的gemma等等。每次大模型的釋出都號稱史上最強,但到底怎麼樣你自己體驗了才能知道。
Ollama就是做這個事情的,讓你能快速在本地也能跑起來各種大模型。
Ollama可以直接部署在本地,也可以部署在docker上,簡單起見,我們還是部署在docker上比較好。
首先開啟Windows命令列,可以使用win+r,然後輸入cmd即可開啟。
然後輸入命令
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollama
如果沒有ollama映象,會自動從網路獲取ollama映象。
我這個是已經安裝過了。
tips:最好使用命令列執行,主要是為了開啟11434埠,為了後面視覺化做準備。
3. 安裝llama3模型
在docker desktop找到ollama的容器,點選進入
點選exec進入容器命令列。
執行命令
ollama run llama3
ollama會自動下載llama3模型並執行。
等待下載完成後,顯示success便是執行成功,這時候就可以向它提問了。
以上是我向它提的問題,可以看到已經有了回答。
4. 安裝Open WebUI
雖然大模型已經安裝成功,但是總不能一直用命令列來提問吧,非常不友好。如何才能像ChatGPT那樣呢?
不用擔心,開源社群總會有驚喜,Open WebUI就是做這個的。
開啟命令列,執行下面的命令。
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
沒有映象會自動下載好Open WebUI的映象,然後執行。
這時候你開啟docker desktop,可以看到open-webui已經在執行中了。
開啟瀏覽器,輸入localhost:3000,看到有登入介面,就算安裝成功了。
可以註冊一個賬號再登入。
這時候還沒有完,需要在上面設定模型後才能使用。
選擇剛才建立好的llama3,這時候就可以提問啦。
看到這裡就大功告成了,你已經擁有了自己的ChatGPT,please enjoy your llm。
結束
後面我會持續分享AI相關的技術,歡迎大家關注。
如果在安裝過程中出現各種問題,也歡迎提問,筆者非常樂於解答。