Meta最新推出的開源大模型llama-3,被譽為目前最強的開源大模型，能力接近於GPT 4.5. 因此在本地搭建一下搶鮮體驗
系統環境
CPU: AMD Ryzen 5 3600X 6-Core Processor 4.10 GHz
RAM: 32G
GPU: Navida 2060S 8G
DISK: SSD 100 G Free
基於上述自身條件，裝llama-3 8b版本比較實際。
整個安裝使用Ollama，5分鐘安裝完成正常執行
用Ollama執行llama-3
點選這裡下載 Ollama Windows Preview版本。我下載msi包，完成下載後直接安裝
完成安裝後直接開啟命令列提示符或者Power Shell。執行
# 由於ollma執行模型時只支援localhost和127.0.0.1訪問，所以還要設定一下區域網內可訪問，即設定環境變數OLLAMA_HOST為0.0.0.0
setx OLLAMA_HOST "0.0.0.0"
ollama run llama3:8b
等待ollama下載llama3完成並執行，成功執行後顯示結果如下：
這樣就可以在命令列中進行問答。
增加Web UI
如果需要一個像ChatGPT網頁版那樣的UI介面，還需要多做一步，就是安裝Open WebUI, 直接到他們的github程式碼庫上去看安裝指導，用Docker安裝非常簡單，我本地用的WSL2，所以用WSL2跑Open WebUI. 執行以下命令就行
docker pull ghcr.io/open-webui/open-webui:main
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://宿主機IP:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
安裝結果如下：
然後，瀏覽器裡輸入 http://localhost:3000/ 就可以看到執行起來的網頁版了。
結語
這樣，llama-3就在短時間之內在本地搭建起來了，不過體驗下來，8b還是差了點意思，首先中文支援確實不大友好，再就是也經常扯淡答非所問。所以玩玩可以，真正幹活還是要用大引數版本的。