Meta最新推出的開源大模型llama-3,被譽為目前最強的開源大模型,能力接近於GPT 4.5. 因此在本地搭建一下搶鮮體驗
系統環境
CPU: Intel(R) Core(TM) i7-8650U CPU @ 1.90GHz 2.11 GHz
RAM: 16G
GPU: Navida 1060 6G
DISK: 100 G Free
基於上述自身條件,裝llama-3 8b版本比較實際。
整個安裝使用Ollama,5分鐘安裝完成正常執行
用Ollama執行llama-3
點選這裡下載 Ollama Windows Preview版本。我下載msi包,完成下載後直接安裝
完成安裝後直接開啟命令列提示符或者Power Shell。執行
ollama run llama3:8b
等待ollama下載llama3完成並執行,成功執行後顯示結果如下:
這樣就可以在命令列中進行問答。
增加Web UI
如果需要一個像ChatGPT網頁版那樣的UI介面,還需要多做一步,就是安裝Open WebUI, 原來叫Ollama-WebUI, 可見原來是一家人。Open WebUi直接到他們的github程式碼庫上去看安裝指導,用Docker安裝非常簡單,前提是在Windows系統中安裝好Docker Desktop. 執行以下命令就行
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
安裝結果如下:
然後,瀏覽器裡輸入 http://localhost:3000/ 就可以看到執行起來的網頁版了。
結語
這樣,llama-3就在5分鐘之內在本地搭建起來了,不過體驗下來,8b還是差了點意思,玩玩可以,真正幹活還是要用大引數版本的。