2000+多種開源大模型隨意部署！一鍵搭建本地大模型，不挑環境、不挑配置（ollama 安裝部署教程《Windows/Linux，Mac》）

贾维斯Echo發表於2024-10-21
大模型WindowsLinuxMac

2000+多種開源大模型隨意部署！一鍵搭建本地大模型，不挑環境、不挑配置（ollama 安裝部署教程《Windows/Linux，Mac》）

一、Ollama介紹

2.1 基本介紹

Ollama是一個支援在Windows、Linux和MacOS上本地執行大語言模型的工具。它允許使用者非常方便地執行和使用各種大語言模型,比如Qwen模型等。使用者只需一行命令就可以啟動模型。

主要特點包括:

  1. 跨平臺支援Windows、Linux、MacOS系統。
  2. 提供了豐富的模型庫,包括Qwen、Llama等1700+大語言模型,可以在官網model library中直接下載使用。
  3. 支援使用者上傳自己的模型。使用者可以將huggingface等地方的ggml格式模型匯入到ollama中使用。也可以將基於pytorch等格式的模型轉換為ggml格式後匯入。
  4. 允許使用者透過編寫modelfile配置檔案來自定義模型的推理引數,如temperature、top_p等,從而調節模型生成效果。
  5. 支援多GPU並行推理加速。在多卡環境下,可以設定環境變數來指定特定GPU。
  6. 強大的技術團隊支援，很多模型開源不到24小時就能獲得支援。

總的來說,Ollama降低了普通開發者使用大語言模型的門檻,使得本地部署體驗大模型變得簡單易行。對於想要搭建自己的AI應用,或者針對特定任務調優模型的開發者來說,是一個非常有用的工具。它的一些特性,如允許使用者自定義模型引數,對模型進行個性化適配提供了支援。

2.2 官網

  • Ollama 下載：https://ollama.com/download
  • Ollama 官方主頁：https://ollama.com
  • Ollama 官方 GitHub 原始碼倉庫：https://github.com/ollama/ollama/

image-20240923230605199

二、window 安裝

直接從下載頁面下載相對應系統的安裝程式，Windows安裝程式選擇Windows的安裝包，點選“Download for Windows(Preview)”

下載好以後一路install 安裝即可。

安裝完成之後，開啟一個cmd命令視窗，輸入“ollama”命令，如果顯示ollama相關的資訊就證明安裝已經成功了！

三、Mac 安裝

直接從下載頁面下載相對應系統的安裝程式，Windows安裝程式選擇Windows的安裝包，點選“Download for Mac”

下載好後開啟安裝命令列

image-20240926225342821

四、 Linux 安裝

在Linux系統上,可以透過指令碼安裝或原始碼編譯的方式來安裝Ollama。下面分別介紹這兩種安裝方法。

4.1 指令碼安裝

Ollama提供了一鍵安裝指令碼,可以快速在Linux系統上安裝Ollama。安裝步驟如下:

  1. 開啟終端,執行以下命令下載安裝指令碼:

    curl -fsSL https://ollama.com/install.sh | sh

  2. 等待安裝完成。安裝指令碼會自動下載所需的元件,並完成Ollama的安裝與配置。

  3. 安裝完成後,可以透過以下命令啟動Ollama:

    ollama serve

4.2 二進位制安裝

  1. 將 Ollama 的二進位制檔案下載到 PATH 中的目錄：

    sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama
sudo chmod +x /usr/bin/ollama

  2. 將 Ollama 新增為自啟動服務，首先，為 Ollama 建立使用者：

sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama

  1. 然後在該位置：/etc/systemd/system/ollama.service 建立服務檔案

    [Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3

[Install]
WantedBy=default.target

  2. 設定開機自啟動

    sudo systemctl daemon-reload
sudo systemctl enable ollama

  3. 啟動 Ollama，使用以下命令啟動 Ollama：systemd

    sudo systemctl start ollama

4.3 安裝特定版本

設定 OLLAMA_VERSION欄位，，可以安裝對應的版本

curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.3.13 sh

4.4 檢視日誌

檢視作為啟動服務執行的 Ollama 的日誌：

journalctl -e -u ollama

4.5 更新

透過shell 指令碼更新 Ollama：

curl -fsSL https://ollama.com/install.sh | sh

或者下載 Ollama 二進位制檔案：

sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama
sudo chmod +x /usr/bin/ollama

4.6 解除安裝

  • 刪除 Ollama 服務：
sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service
  • 從 bin 目錄中刪除 Ollama 二進位制檔案： /usr/local/bin ,/usr/bin ,/bin
sudo rm $(which ollama)
  • 刪除下載的模型和 Ollama 服務使用者和組：
sudo rm -r /usr/share/ollama
sudo userdel ollama
sudo groupdel ollama

三、命令引數

以下是 Ollama 使用常見的指令：

ollama serve         #啟動ollama
ollama create        #從模型檔案建立模型
ollama show          #顯示模型資訊
ollama run           #執行模型
ollama pull          #從登錄檔中拉取模型
ollama push          #將模型推送到登錄檔
ollama list          #列出模型
ollama cp            #複製模型
ollama rm            #刪除模型
ollama help          #獲取有關任何命令的幫助資訊

四、設定自定義模型下載路徑

預設情況下，ollama模型的儲存目錄如下：

  • macOS: ~/.ollama/models
  • Linux: /usr/share/ollama/.ollama/models
  • Windows: C:\Users\<username>\.ollama\models

4.1 Windows 更改 Ollama 模型存放位置

在Windows系統中，若要更改Ollama模型的存放位置，可以按照以下步驟操作：

  1. 開啟環境變數編輯介面。可以透過以下方式：
    • 右鍵點選“此電腦”或“我的電腦”，選擇“屬性”。
    • 在系統視窗中選擇“高階系統設定”。
    • 在系統屬性視窗中點選“環境變數”按鈕。
  2. 在環境變數視窗中，點選“新建”建立一個新的系統變數或使用者變數。
    • 變數名：OLLAMA_MODELS
    • 變數值：輸入你希望設定的新模型存放路徑，例如：D:\Ollama\Models
  3. 點選“確定”儲存設定。
  4. 重啟任何已經開啟的Ollama相關應用程式，以便新的路徑生效。

4.2 Linux/Mac 更改 Ollama 模型存放位置

在Linux或Mac系統中，更改Ollama模型存放位置的步驟如下：

  1. 開啟終端。

  2. 建立一個新的目錄作為模型存放位置，例如：

    mkdir -p /path/to/your/new/ollama/models

  3. 設定環境變數。在Linux系統中，可以透過編輯~/.bashrc或~/.bash_profile檔案（對於bash shell）或~/.zshrc檔案（對於zsh shell）。在Mac系統中，可以透過編輯~/.bash_profile或~/.zshrc檔案。使用以下命令編輯檔案：

    nano ~/.bashrc  # 或者使用其他的文字編輯器，如vim

  4. 在檔案末尾新增以下行來設定OLLAMA_MODELS環境變數：

    export OLLAMA_MODELS="/path/to/your/new/ollama/models"

  5. 儲存並關閉檔案。如果你使用的是nano編輯器，可以按Ctrl + X，然後按Y確認儲存，最後按Enter鍵。

  6. 使環境變數生效。在終端中執行以下命令：

    source ~/.bashrc  # 或者source ~/.bash_profile，取決於你編輯的檔案

  7. 重啟任何已經開啟的Ollama相關應用程式，以便新的路徑生效。

五、匯入 huggingface 模型

Ollama 從最新版0.3.13開始支援從 Huggingface Hub 上直接拉取各種模型，包括社群建立的 GGUF 量化模型。使用者可以透過簡單的命令列指令快速執行這些模型。

可以使用如下命令：

ollama run hf.co/{username}/{repository}

請注意，您可以使用 hf.co 或 huggingface.co 作為域名。

cover

要選擇不同的量化方案，只需在命令中新增一個標籤：

ollama run hf.co/{username}/{repository}:{quantization}

guide.png
例如：

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Q8_0

量化名稱不區分大小寫，因此以下命令同樣有效：

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:iq3_m

您還可以直接使用完整的檔名作為標籤：

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Llama-3.2-3B-Instruct-IQ3_M.gguf

參考連結

  • https://techdiylife.github.io/blog/blog.html?category1=c02&blogid=0037#ollama應用全面解析20個問題精通ollama

  • https://techdiylife.github.io/blog/blog.html?category1=c02&blogid=0037#16-linux系統中以服務模式執行ollama如何檢視執行日誌

  • https://mn.cyou/archives/ollama

  • https://datawhalechina.github.io/handy-ollama/#/

  • https://github.com/ollama/ollama/blob/main/docs

  • https://huggingface.co/docs/hub/en/ollama

本文由部落格一文多發平臺 OpenWrite 釋出！

相關文章