一鍵部署本地AI大模型

小kBlog發表於2024-06-07
AI大模型

實用軟體分享

在這個AI技術不斷進步的時代，智慧軟體正逐漸成為我們生活和工作中不可或缺的一部分。
它們不僅極大地提高了效率，還為我們帶來了前所未有的便利。
今天，我將向大家推薦三款具有突破性功能的智慧軟體
它們分別是Ollama Ollama WebUI以及Ollama中文網精選模型。

1. Ollama：本地部署大模型的實踐

前排介紹

Ollama是一個開源專案，致力於簡化大型語言模型（LLM）的本地部署過程。它允許使用者在自己的硬體上執行和測試最新的語言模型，無需依賴雲服務。

Ollama和Ollama WebUI簡介

Ollama提供了一個類似於OpenAI的API介面，使得開發者可以輕鬆地在自己的應用程式中整合大型語言模型。此外，Ollama WebUI為使用者提供了一個友好的介面，用於管理和與模型進行互動。

Ollama模型硬體要求

執行Ollama模型需要一定的硬體資源。例如，執行7B型號的模型至少需要8 GB的RAM，而更大的模型如33B則需要32 GB的RAM。這些要求確保了模型能夠順暢執行，提供穩定的服務。

使用教程

Windows命令列(CMD)輸出下面程式碼
會自動跳轉瀏覽器進行下載

start https://ollama.com/download/OllamaSetup.exe

下載完成後雙擊安裝即可
如果沒有圖示的可以進行搜尋

開啟後我們再次使用命令列工具(CMD)
輸入命令檢視版本
ollama -v
再輸入ollama
換出頁面選單

下面我給出詳細的選單介紹

C:\使用者\使用者名稱>ollama  # 在命令列中輸入ollama命令

Usage:
  ollama [flags]     # 使用ollama命令時可以新增的標誌（flags）
  ollama [command]   # 使用ollama命令時可以執行的子命令（command）

Available Commands:  # 可用的子命令列表
  serve       Start ollama  # serve命令：啟動ollama服務
  create      Create a model from a Modelfile  # create命令：從Modelfile建立一個模型
  show        Show information for a model  # show命令：顯示模型的資訊
  run         Run a model  # run命令：執行一個模型
  pull        Pull a model from a registry  # pull命令：從登錄檔拉取一個模型
  push        Push a model to a registry  # push命令：將一個模型推送到登錄檔
  list        List models  # list命令：列出所有模型
  ps          List running models  # ps命令：列出正在執行的模型
  cp          Copy a model  # cp命令：複製一個模型
  rm          Remove a model  # rm命令：刪除一個模型
  help        Help about any command  # help命令：獲取任何命令的幫助資訊

Flags:  # 可用的標誌（flags）
  -h, --help      help for ollama  # -h或--help標誌：顯示ollama命令的幫助資訊
  -v, --version   Show version information  # -v或--version標誌：顯示ollama的版本資訊

Use "ollama [command] --help" for more information about a command.  # 使用ollama [command] --help來獲取關於特定命令的更多資訊

OK上面的詳細註釋想必大家都能看懂了
接下來我們來安裝模型
這裡我推薦中文模型阿里雲的qwen
配置差一點的用0.5B、1.8B、2B、4B
配置牛逼的有4090的建議上32B左右的模型
下面我放出目前已經支援的顯示卡型別

系列卡片及加速器
AMD Radeon RX 7900 XTX 7900 XT 7900 GRE 7800 XT 7700 XT 7600 XT 7600 6950 XT 6900 XTX 6900XT 6800 XT 6800 Vega 64 Vega 56
AMD Radeon PRO W7900 W7800 W7700 W7600 W7500 W6900X W6800X Duo W6800X W6800 V620 V420 V340 V320 Vega II Duo Vega II VII SSG
AMD Instinct MI300X MI300A MI300 MI250X MI250 MI210 MI200 MI100 MI60 MI50
計算能力系列卡片及加速器
9.0 NVIDIA H100
8.9 GeForce RTX 40xx RTX 4090 RTX 4080 RTX 4070 Ti RTX 4060 Ti
NVIDIA 專業版 L4 L40 RTX 6000
8.6 GeForce RTX 30xx RTX 3090 Ti RTX 3090 RTX 3080 Ti RTX 3080 RTX 3070 Ti RTX 3070 RTX 3060 Ti RTX 3060
NVIDIA 專業版 A40 RTX A6000 RTX A5000 RTX A4000 RTX A3000 RTX A2000 A10 A16 A2
8.0 NVIDIA A100 A30
7.5 GeForce GTX/RTX GTX 1650 Ti TITAN RTX RTX 2080 Ti RTX 2080 RTX 2070 RTX 2060
NVIDIA 專業版 T4 RTX 5000 RTX 4000 RTX 3000 T2000 T1200 T1000 T600 T500
Quadro RTX 8000 RTX 6000 RTX 5000 RTX 4000
7.0 NVIDIA TITAN V V100 Quadro GV100
6.1 NVIDIA TITAN TITAN Xp TITAN X
GeForce GTX - GTX 1080 Ti GTX 1080 GTX 1070 Ti GTX 1070 GTX 1060 GTX 1050
Quadro - P6000 P5200 P4200 P3200 P5000 P4000 P3000 P2200 P2000 P1000 P620 P600 P500 P520
Tesla - P40 P4
6.0 NVIDIA Tesla P100 Quadro GP100
5.2 GeForce GTX GTX TITAN X GTX 980 Ti GTX 980 GTX 970 GTX 960 GTX 950
Quadro - M6000 24GB M6000 M5000 M5500M M4000 M2200 M2000 M620
Tesla - M60 M40
5.0 GeForce GTX GTX 750 Ti GTX 750 NVS 810
Quadro - K2200 K1200 K620 M1200 M520 M5000M M4000M M3000M M2000M M1000M K620M M600M M500M

安裝ollama模型並且啟用

首先我們前往ollamamodes頁面
地址https://ollama.com/library
當然也可以輸入命令進入

start https://ollama.com/library

找到qwen模型，點選進入
選擇和自己電腦配置吃得消的模型
點選右上角的複製按鈕

到CMD視窗右擊貼上回車即可自動下載安裝

這個時候我們需要確保網路質量良好
頻寬的速率最起碼100~300MB的頻寬

然後在命令列視窗進行對話即可

對話計算的數獨取決於你的CPU,如果有GPU的話速度會快一些

但是這樣的對話方式是不是不太美觀？
接下來教大家搭建Ollama WebUI

Ollama WebUI部署

Ollama WebUI為使用者提供了一個圖形介面，用於下載模型和與模型進行對話。使用者可以透過WebUI選擇模型，下載並重新整理頁面以開始互動

安裝方式

必要的條件

本地已經安裝了ollama 和docker
並且開啟了wsl和虛擬化操作

  • 第一步開啟windwos必要的環境
開啟控制皮膚選擇程式開啟控制皮膚選擇程式 點選紅色部分點選紅色部分 開啟紅色框選的部分點選確定然後重啟開啟紅色框選的部分點選確定然後重啟
  • 第二步安裝docker

前往docker官方下載安裝
如果官網進不去我們提供下載
後臺回覆：docker

網址：https://www.docker.com/get-started/網址：https://www.docker.com/get-started/

下載完畢後雙擊開啟一路安裝即可

接下來開始安裝Ollama WebUI

下面是詳細的方式
windwos只用CPU執行的選擇第一個
選擇GPU執行的選擇第三個
下面的命令在cmd視窗貼上即可執行

注意！使用下面的命令需要您的docker正常執行
開啟軟體左下角顯示綠色即可

  • 如果 Ollama 在您的計算機上，請使用以下命令：
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
  • 如果 Ollama 位於其他伺服器上， 請使用以下命令：

要連線到另一臺伺服器上的 Ollama
請將更改為伺服器的 URL：OLLAMA_BASE_URL

docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
  • 要執行支援 Nvidia GPU 的 Open WebUI， 請使用以下命令：
docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda
  • 僅供 OpenAI API 使用的安裝
  • 如果您僅使用 OpenAI API， 請使用以下命令：
docker run -d -p 3000:8080 -e OPENAI_API_KEY=your_secret_key -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

安裝帶有捆綁 Ollama 支援的 Open WebUI

此安裝方法使用將 Open WebUI 與 Ollama 捆綁在一起的單個容器映像，允許透過單個命令簡化設定。根據硬體設定選擇適當的命令：

  • 支援 GPU： 透過執行以下命令來利用 GPU 資源：
docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
  • 僅適用於 CPU： 如果您不使用 GPU，請改用以下命令：
docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

這兩個命令都有助於 Open WebUI 和 Ollama 的內建、輕鬆安裝，確保您可以快速啟動和執行所有內容。

安裝完成後，您可以在 http://localhost:3000
訪問 Open WebUI。享受！😄

安裝完畢後雙擊開啟docker可以看見如下
左下角執行狀態
Containers頁面有您已經部署好的專案
滑鼠點選3000:8080

我們進入對映的埠3000:800
然後進行註冊賬號，一定要註冊賬號
因為首次註冊賬號的是管理員確認身份的
然後就可以愉快的對話選擇模型了

Ollama中文網

這個是對中文的小夥伴很友好的
內容基本都是中文，模型介紹也很清楚

網址：https://ollama.fan網址：https://ollama.fan

相關文章