本地部署FastGPT使用線上大語言模型

景少發表於2024-03-08
ASTGPT模型

FastGPT 是一個基於 LLM 大語言模型的知識庫問答系統，提供開箱即用的資料處理、模型呼叫等能力，它背後依賴OneApi開源專案來訪問各種大語言模型提供的能力。各大語言模型提供的訪問介面規範不盡相同，為此OneApi專案提供了統一的API介面去對接各種大語言模型。FastGPT的部署架構如圖所示：

本文章將介紹如何部署OneApi和FastGPT，以及兩種線上大語言模型（AzureOpenAI和訊飛星火3.5）的配置方法。

我將在Windows系統的WSL子系統上進行部署，WSL子系統安裝的是Ubuntu22 Linux系統，WSL的部署方式完全適用於真實的Linux系統。

一、部署OneApi

OneApi專案開源地址：https://github.com/songquanpeng/one-api

1.在/opt目錄下建立oneapi目錄

cd opt
mkdir oneapi
cd oneapi

2.編輯docker-compose.yml檔案

在/opt/oneapi目錄下建立docker-compose.yml檔案，將下面的內容複製進去並儲存

version: '3.8'

services:
  oneapi:
    container_name: oneapi
    image: justsong/one-api:latest
    restart: unless-stopped
    ports:
      - 3001:3000
    networks:
      - llm_net
    volumes:
      - ./data:/data
    environment:
      - TZ=Asia/Shanghai

networks:
  llm_net:
    name: llm_net
    external: true

3.建立llm_net docker網路

docker network create llm_net

4.執行oneapi

docker compose up -d

5.配置AzureOpenAI渠道

登入http://localhost:3001，使用者名稱：root，密碼：123456。

如果你沒有申請AzureOpenAI，可以直接檢視訊飛星火的配置方式。其實申請AzureOpenAI並不難，網上教程很多，只要真實填寫相關資訊，一般24小時內就可以透過。

接下來我們新增AzureOpenAI渠道，按照圖中的方式填寫就好了。這裡有一個需要注意的地方就是名稱那一項填的是Azure上面的部署名稱，而這個部署名稱必須要和模型名稱一致（很奇怪的做法，GitHub上已經有人提了issue，正在解決）

6.測試

渠道新增成功後，可以在渠道列表頁面點選“測試”按鈕，如果沒有問題，會返回測試成功。

7.建立令牌

令牌的名稱隨便填，由於是測試，可以把額度設定為無限額度。

提交後，可以在令牌列表頁面複製剛剛建立的令牌，這個令牌將在部署FastGPT時用到。

二、部署fastgpt

1.在/opt目錄下建立fastgpt目錄

cd opt
mkdir fastgpt
cd fastgpt

2.編輯docker-compose.yml檔案

請先閱讀FastGPT官方部署文件：https://doc.fastgpt.in/docs/development/docker/

下載docker-compose.yml檔案和config.json檔案

curl -O https://raw.githubusercontent.com/labring/FastGPT/main/files/deploy/fastgpt/docker-compose.yml
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json

編輯docker-compose.yml檔案，主要是更改了容器網路，資料庫使用者名稱密碼之類的

version: '3.8'
services:
  pg:
    image: ankane/pgvector:v0.5.0 # git
    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.5.0 # 阿里雲
    container_name: pg
    restart: always
    ports: 
      - 5432:5432
    networks:
      - llm_net
    environment:
      - POSTGRES_USER=fastgpt
      - POSTGRES_PASSWORD=123456
      - POSTGRES_DB=fastgpt
    volumes:
      - ./pg/data:/var/lib/postgresql/data

  mongo:
    image: mongo:5.0.18
    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mongo:5.0.18 # 阿里雲
    container_name: mongo
    ports:
      - 27017:27017
    networks:
      - llm_net
    command: mongod --keyFile /data/mongodb.key --replSet rs0
    environment:
      - MONGO_INITDB_ROOT_USERNAME=fastgpt
      - MONGO_INITDB_ROOT_PASSWORD=123456
    volumes:
      - ./mongo/data:/data/db
      - ./mongodb.key:/data/mongodb.key

  fastgpt:
    container_name: fastgpt
    image: ghcr.io/labring/fastgpt:latest # git
    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:latest # 阿里雲
    ports:
      - 3002:3000
    networks:
      - llm_net
    depends_on:
      - mongo
      - pg
    restart: always
    environment:
      - DEFAULT_ROOT_PSW=123456
      - OPENAI_BASE_URL=http://192.168.2.117:3001/v1
      - CHAT_API_KEY=sk-XXXXX # 在OneApi中建立的令牌
      - DB_MAX_LINK=5 # database max link
      - TOKEN_KEY=any
      - ROOT_KEY=root_key
      - FILE_TOKEN_KEY=filetoken
      # mongo 配置，不需要改. 使用者名稱myname,密碼mypassword。
      - MONGODB_URI=mongodb://fastgpt:123456@mongo:27017/fastgpt?authSource=admin
      # pg配置. 不需要改
      - PG_URL=postgresql://fastgpt:123456@pg:5432/fastgpt
    volumes:
      - ./config.json:/app/data/config.json

networks:
  llm_net:
    name: llm_net
    external: true

這裡要注意的 OPENAI_BASE_URL=http://192.168.2.117:3001/v1，我本來想設定成http://oneapi:3000/v1，因為fastgpt與oneapi在同一個docker網路，但fastgpt訪問不了這個地址，可能是哪裡沒有設定對，只好先用本機ip來訪問。

3.編輯config.json檔案

改動如下，name改成在oneapi配置中的一樣

4.執行fastgpt

docker compose up -d

執行成功之後，不要忘了對MongoDb進行配置，直接按官網的步驟進行操作：

# 檢視 mongo 容器是否正常執行
docker ps
# 進入容器
docker exec -it mongo bash
# 連線資料庫
mongo -u myname -p mypassword --authenticationDatabase admin
# 初始化副本集。如果需要外網訪問，mongo:27017 可以改成 ip:27017。但是需要同時修改 FastGPT 連線的引數（MONGODB_URI=mongodb://myname:mypassword@mongo:27017/fastgpt?authSource=admin => MONGODB_URI=mongodb://myname:mypassword@ip:27017/fastgpt?authSource=admin）
rs.initiate({
  _id: "rs0",
  members: [
    { _id: 0, host: "mongo:27017" }
  ]
})
# 檢查狀態。如果提示 rs0 狀態，則代表執行成功
rs.status()

5.測試

官網說OPENAI_BASE_URL地址後面要加v1，當我加了的時候，測試結果如下，報404：

於是去oneapi容器檢視日誌，可以看到fastgpt請求已經轉到了oneapi，oneapi又去請求AzureOpenAI， AzureOpenAI返回404。於是去Azure上測試部署後的聊天功能，按F12檢視網路請求，發現路由裡面沒有v1

於是更改docker-compose.yml檔案，把OPENAI_BASE_URL值中的v1去掉了，重新執行docker-compose up -d ，重啟之後繼續測試，這次的報錯就不一樣了，如下圖所示：

檢視oneapi日誌，請求結果是200，但沒有響應內容，找了很久的原因，無法得知是OneApi還是Azure OpenAI的問題，於是轉而去測試訊飛星火大模型。

三、配置訊飛星火認知大模型

1.建立訊飛模型應用

先去官方領取訊飛星火認知大模型的個人免費試用套餐（我選的是V3.5版本）：https://xinghuo.xfyun.cn/sparkapi?scr=price

然後去到訊飛開放平臺去建立基於v3.5版本的應用，得到APPID、APISecret、APIKey三個值（在OneApi中需要用到）

2.在oneapi頁面新增星火模型渠道

3.編輯fastgpt的config.json檔案

增加星火模型的配置

4.重啟fastgpt容器

注意：如果你之前的操作把OPENAI_BASE_URL的v1去掉了，請把它補上，然後執行命令：docker-compose up -d

5.測試

AI模型選擇上面配置的spark3.5，測試成功

相關文章