使用ollama + AnythingLLM快速且簡單的在本地部署llama3

DbWong_0918發表於2024-04-22

使用ollama + AnythingLLM快速且簡單的在本地部署llama3

不多說，直接開始

一、安裝ollama

ollama官網：https://ollama.com/
下載地址：https://ollama.com/download

開啟以後註冊並下載即可

image

安裝沒有什麼好說的，找到自己的系統安裝即可，因為我的電腦沒有搞虛擬機器，所以就直接安裝Windows的版本了

二、下載模型並執行ollama

安裝ollama以後，透過管理員開啟powershell

輸入ollama，只要出現下面這些，說明安裝成功了

image

開啟ollama的模型的網頁：https://ollama.com/library

image

我們以llm3為例，雙擊進入

image

常用的命令有

  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

可以看到頁面中讓執行ollama run llama3即可

一般來說run是用來跑模型的，但是如果本地沒有這個模型的話，ollama會自動下載

PS:國內的網路問題不知道有沒有解決，下載模型的時候偶爾速度很快，但是很多時候速度很慢以至於提示TLS handshake timeout，這種情況建議重啟電腦或者把ollama重啟一下(不知道為啥，我同步開啟GitHub的時候速度會明顯快一些，可能也是錯覺)

下載完成以後我們輸入ollama list可以查下載了哪些模型

image

這裡我們直接輸入ollama run llama3，就可以開始對話了

image

三、下載並配置AngthingLLM

AngthingLLM官網：https://useanything.com
下載連結：https://useanything.com/download

同樣的選擇對應的系統版本即可

image

在使用前，需要啟動Ollama服務

執行ollama serve，ollama預設地址為：http://127.0.0.1:11434

然後雙擊開啟AngthingLLM

因為我已經配置過，所以不好截圖最開始的配置介面了，不過都能在設定裡面找到

首先是LLM Preference，LLM provider選擇ollama，URL填寫預設地址，後面的模型選擇llama3，token填4096

image

Embedding Preferenc同樣選擇ollama，其餘基本一致，max我看預設8192，我也填了8192

image

Vector Database就直接預設的LanceDB即可

image

此時我們新建工作區，名字就隨便取，在右邊就會有對話介面出現了

image

此時你就有了自己本地的語言模型了

是不是很簡單，費時間的地方其實就在下載模型的時候，本來想用Open WebUI，但是電腦沒有搞docker，就用AngthingLLM了，後續有空搞個docker用open webui

如果模型實在下不下來，也可以搞離線模型

Windows系統下ollama儲存模型的預設路徑是C:\Users\wbigo.ollama\models，一個模型庫網址：https://modelscope.cn/models

挺全的，但是說實話，llama3-8B我感覺挺拉胯的，可能英文好一些，中文的話使用不如qwen

相關文章