【部署教程】基於GPT2訓練了一個傻狗機器人 - By ChatGPT 技術學習

小傅哥發表於2023-02-20
機器人ChatGPT

作者：小傅哥
部落格：https://bugstack.cn

沉澱、分享、成長，讓自己和他人都能有所收穫！

首先我想告訴你，從事程式設計開發這一行，要學會的是學習的方式方法。方向對了，才能事半功倍。而我認為最快且行之有效的技術技能學習，就是上手實踐。先不要搞太多的理論，買回來的腳踏車不能上來就拆，得先想辦法騎起來。

所以小傅哥就是這樣，學東西嘛。以目標為驅動，搭建可執行測試的最小單元版本。因為康威定律說；問題越小，越容易被理解和處理。所以在接觸 ChatGPT 以後，我時常都在想怎麼自己訓練和部署一個這樣的聊天對話模型，哪怕是很少的訓練資料，讓我測試也好。所以這個會噴人的傻狗機器人來了！

一、傻狗機器聊天

在基於前文小傅哥《搭個ChatGPT演算法模型》的學習基礎之上，以 OpenAI 開源的 GPT-2 和相關的 GPT2-chitchat 模型訓練程式碼，部署了這個會噴人的傻狗機器人。但由於訓練資料的問題，這個聊天機器人對起話來，總感覺很變態。—— 不過不影響我們做演算法模型訓練的學習。

img

此頁面為小傅哥所程式設計的WEB版聊天對話視窗

二、基礎配置環境

OpenAI GPT2 的模型訓練和服務使用，需要用到 Python、TensorFlow 機器學習等相關配置，並且這些環境間有些版本依賴。所以為了順利除錯儘可能和我保持一樣的版本。如果你對環境安裝有難度，也可以找小傅哥幫忙買一臺雲伺服器，之後我把我的環境映象到你的伺服器上就可以直接使用了。以下是所需的基本環境、程式碼和資料。

1 環境依賴

yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel

yum install gcc -y

yum -y install libffi-devel

make

make altinstall

2 Python 3.7

cd ~

# 1.下載Python安裝包
wget https://www.python.org/ftp/python/3.7.4/Python-3.7.4.tgz

# 2.將安裝包移動到/usr/local資料夾下
mv Python-3.7.4.tgz /usr/local/

# 3.在local目錄下建立Python3目錄
mkdir /usr/local/python3

# 4.進入的Python安裝包壓縮包所在的目錄
cd /usr/local/

# 5.解壓安裝包
tar -xvf Python-3.7.4.tgz

# 6.進入解壓後的目錄
cd /usr/local/Python-3.7.4/

# 7.配置安裝目錄
./configure --prefix=/usr/local/python3

# 8.編譯原始碼
make

# 9.執行原始碼安裝
make install

# 10.建立軟連線
ln -s /usr/local/python3/bin/python3  /usr/bin/python3

# 11. 測試
python3 -V

3. 安裝pip3

cd ~

# 1.下載
wget https://bootstrap.pypa.io/get-pip.py

# 2.安裝；注意我們們安裝了 python3 所以是 pyhton3 get-pip.py
python3 get-pip.py
  
# 3.查詢pip安裝路徑
find / -name pip
  
# 4.將pip新增到系統命令
ln -s  /usr/local/python/bin/pip /usr/bin/pip  
  
# 5.測試
pip -V
  
# 6.更換源，如果不更換那麼使用 pip 下載軟體會很慢
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
pip config set install.trusted-host mirrors.aliyun.com
pip config list
  
# pip國內映象源：

# 阿里雲 http://mirrors.aliyun.com/pypi/simple/
# 中國科技大學  https://pypi.mirrors.ustc.edu.cn/simple/
# 豆瓣 http://pypi.douban.com/simple
# Python官方 https://pypi.python.org/simple/
# v2ex http://pypi.v2ex.com/simple/
# 中國科學院  http://pypi.mirrors.opencas.cn/simple/
# 清華大學 https://pypi.tuna.tsinghua.edu.cn/simple/

4. 安裝git

cd ~

# 1.安裝前首先得安裝依賴環境
yum install -y perl-devel

# 2.下載原始碼包到 CentOS 伺服器後進行解壓
tar -zxf git-2.9.5.tar.gz

cd git-2.9.5

# 3.執行如下命令進行編譯安裝 

./configure --prefix=/usr/local/git

make && make install

# 4.新增到系統環境變數
vim ~/.bashrc

export PATH="/usr/local/git/bin:$PATH"

# 5.使配置生效
source ~/.bashrc

# 6.測試
git version

5. 安裝寶塔

yum install -y wget && wget -O install.sh https://download.bt.cn/install/install_6.0.sh && sh install.sh 12f2c1d72
  1. 安裝後登入寶塔提示的地址，預設它會使用8888埠，因此你需要在伺服器上開啟8888埠訪問許可權。
  2. 寶塔的安裝是為了在服務端部署一個網頁版聊天介面，使用到了 Nginx 服務。這裡用寶塔操作更加容易。

三、模型執行環境

模型訓練需要用到 transformers 機器學習服務，以及 pytorch、sklearn 等元件；以下內容需要分別安裝；

transformers==4.4.2
pytorch==1.7.0
sklearn
tqdm
numpy
scipy==1.2.1

1. transformers

pip install transformers==4.4.2

2. pytorch

pip install torch==1.7.0+cpu torchvision==0.8.1+cpu torchaudio===0.7.0 -f https://download.pytorch.org/whl/torch_stable.html
  • 這個torch版本+cpu與torchvision 需要匹配。

3. 其他安裝

剩餘的按照使用指令 pip install 就可以，另外在執行 GTP2-chitchat 時，如果提示缺少了某些元件，直接使用 pip 按照即可。

四、聊天頁面配置

這裡先把小傅哥給你準備好的websocket頁面程式碼，透過寶塔建立站點後部署起來。程式碼：https://github.com/fuzhengwei...

​ img

之後透過開啟你的寶塔地址，建立站點和上傳Web程式碼。

​ img

注意：目前的這份程式碼中訪問websocket的配置在index.js中，你需要修改成你的伺服器地址。

if(!window.WebSocket){
 alert("您的瀏覽器不支援WebSocket協議！推薦使用谷歌瀏覽器進行測試。");
 return;
}
socket = new WebSocket("ws://120.48.169.252:7397");

五、模型訓練部署

1. 下載程式碼

cd /home

git clone https://github.com/fuzhengwei/GPT2-chitchat.git

你需要修改下 interact.py 程式碼，變更這裡有Websocket 的 IP和埠配置；

async def start_server():
    try:
        async with websockets.serve(server, "192.168.0.4", 7397):
            print("Starting server at ws://localhost:7397")
            await asyncio.Future()  # run forever
    except OSError as e:
        print(f"Error starting server: {e}")
    except Exception as e:
        print(f"Unexpected error: {e}")

2. 上傳模型

下載模型：https://pan.baidu.com/s/1iEu_... - 密碼：ju6m

上傳模型：這裡你需要在本機安裝一個 SFTP 工具，或者使用 IntelliJ IDEA 提供的工具進行連結。連結後就可以把解壓的模型上傳到 /home/GPT2-chitchat/model 下。

async def start_server():
    try:
        async with websockets.serve(server, "192.168.0.4", 7397):
            print("Starting server at ws://localhost:7397")
            await asyncio.Future()  # run forever
    except OSError as e:
        print(f"Error starting server: {e}")
    except Exception as e:
        print(f"Unexpected error: {e}")

修改這部分程式碼的IP和埠，以及在雲服務上開啟 7397 的訪問許可權。另外為了安全起見，可以在雲服務的防火牆IP來源中授權，只有你當前的臺機器才可以連結到 websocket 上。

3. 啟動服務

這裡小傅哥透過 mac nuoshell 連線工具，進行模型啟動；模型路徑：/home/GPT2-chitchat/model/model_epoch40_50w

python3 interact.py --no_cuda --model_path /home/GPT2-chitchat/model/model_epoch40_50w

​ img

  • 啟動後就可以把你的 websocket 頁面開啟了，它會自動的連結到這個 websocket 服務上。
  • 如果你還需要 Socket 或者命令列的服務，也可以修改 interact.py 程式碼進行處理。

以上就是整個 GPT2-chitchat 一個閒聊模型的部署，你也可以嘗試使用 Docker 部署。如果在部署過程中實在很難部署成功，也可以找小傅哥買雲服務，這樣我可以直接把映象部署到你的雲服務上，就可以直接使用了。

相關文章