5分鐘執行最新llama-3大模型

羽扇冠巾發表於2024-04-22

Meta最新推出的開源大模型llama-3,被譽為目前最強的開源大模型,能力接近於GPT 4.5. 因此在本地搭建一下搶鮮體驗

系統環境

CPU: Intel(R) Core(TM) i7-8650U CPU @ 1.90GHz 2.11 GHz
RAM: 16G
GPU: Navida 1060 6G
DISK: 100 G Free

基於上述自身條件,裝llama-3 8b版本比較實際。

整個安裝使用Ollama,5分鐘安裝完成正常執行

用Ollama執行llama-3

點選這裡下載 Ollama Windows Preview版本。我下載msi包,完成下載後直接安裝

完成安裝後直接開啟命令列提示符或者Power Shell。執行

ollama run llama3:8b

等待ollama下載llama3完成並執行,成功執行後顯示結果如下:

image

這樣就可以在命令列中進行問答。

增加Web UI

如果需要一個像ChatGPT網頁版那樣的UI介面,還需要多做一步,就是安裝Open WebUI, 原來叫Ollama-WebUI, 可見原來是一家人。Open WebUi直接到他們的github程式碼庫上去看安裝指導,用Docker安裝非常簡單,前提是在Windows系統中安裝好Docker Desktop. 執行以下命令就行

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

安裝結果如下:

image

然後,瀏覽器裡輸入 http://localhost:3000/ 就可以看到執行起來的網頁版了。

image

結語

這樣,llama-3就在5分鐘之內在本地搭建起來了,不過體驗下來,8b還是差了點意思,玩玩可以,真正幹活還是要用大引數版本的。

相關文章