【實戰】yolov8 tensorrt模型加速部署

FeiYull發表於2023-01-24

【實戰】yolov8 tensorrt模型加速部署

TensorRT-Alpha基於tensorrt+cuda c++實現模型end2end的gpu加速，支援win10、linux，在2023年已經更新模型：YOLOv8, YOLOv7, YOLOv6, YOLOv5, YOLOv4, YOLOv3, YOLOX, YOLOR,pphumanseg,u2net,EfficientDet。
Windows10教程正在製作，可以關注倉庫：https://github.com/FeiYull/TensorRT-Alpha

一、加速結果展示

1.1 效能速覽

?快速看看yolov8n 在移動端RTX2070m(8G)的新能表現：

model	video resolution	model input size	GPU Memory-Usage	GPU-Util
yolov8n	1920x1080	8x3x640x640	1093MiB/7982MiB	14%

下圖是yolov8n的執行時間開銷，單位是ms：
在這裡插入圖片描述

更多TensorRT-Alpha測試錄影在B站影片：
B站：YOLOv8n
B站：YOLOv8s

在這裡插入圖片描述

1.2精度對齊

下面是左邊是python框架推理結果，右邊是TensorRT-Alpha推理結果。
yolov8n : Offical( left ) vs Ours( right )

yolov8n : Offical( left ) vs Ours( right )

在這裡插入圖片描述

yolov7-tiny : Offical( left ) vs Ours( right )

在這裡插入圖片描述

yolov6s : Offical( left ) vs Ours( right )

在這裡插入圖片描述

yolov5s : Offical( left ) vs Ours( right )

YOLOv4 YOLOv3 YOLOR YOLOX略。

二、Ubuntu18.04環境配置

如果您對tensorrt不是很熟悉，請務必保持下面庫版本一致。

2.1 安裝工具鏈和opencv

sudo apt-get update 
sudo apt-get install build-essential 
sudo apt-get install git
sudo apt-get install gdb
sudo apt-get install cmake

sudo apt-get install libopencv-dev  
# pkg-config --modversion opencv

2. 安裝Nvidia相關庫

注：Nvidia相關網站需要註冊賬號。

2.1 安裝Nvidia顯示卡驅動

ubuntu-drivers devices
sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt update
sudo apt install nvidia-driver-470-server # for ubuntu18.04
nvidia-smi

2.2 安裝 cuda11.3

進入連結: https://developer.nvidia.com/cuda-toolkit-archive
選擇：CUDA Toolkit 11.3.0(April 2021)
選擇：[Linux] -> [x86_64] -> [Ubuntu] -> [18.04] -> [runfile(local)]

在網頁你能看到下面安裝命令，我這裡已經複製下來：

wget https://developer.download.nvidia.com/compute/cuda/11.3.0/local_installers/cuda_11.3.0_465.19.01_linux.run
sudo sh cuda_11.3.0_465.19.01_linux.run

cuda的安裝過程中，需要你在bash視窗手動作一些選擇，這裡選擇如下：

select：[continue] -> [accept] -> 接著按下Enter鍵取消Driver和465.19.01這個選項，如下圖(it is important!) -> [Install]

bash視窗提示如下表示安裝完成

#===========
#= Summary =
#===========

#Driver:   Not Selected
#Toolkit:  Installed in /usr/local/cuda-11.3/
#......

把cuda新增到環境變數：

vim ~/.bashrc

把下面複製到 .bashrc裡面

# cuda v11.3
export PATH=/usr/local/cuda-11.3/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-11.3/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
export CUDA_HOME=/usr/local/cuda-11.3

重新整理環境變數和驗證

source ~/.bashrc
nvcc -V

bash視窗列印如下資訊表示cuda11.3安裝正常

nvcc: NVIDIA (R) Cuda compiler driver<br>
Copyright (c) 2005-2021 NVIDIA Corporation<br>
Built on Sun_Mar_21_19:15:46_PDT_2021<br>
Cuda compilation tools, release 11.3, V11.3.58<br>
Build cuda_11.3.r11.3/compiler.29745058_0<br>

2.3 安裝 cudnn8.2

進入網站：https://developer.nvidia.com/rdp/cudnn-archive
選擇： Download cuDNN v8.2.0 (April 23rd, 2021), for CUDA 11.x
選擇： cuDNN Library for Linux (x86_64)
你將會下載這個壓縮包: "cudnn-11.3-linux-x64-v8.2.0.53.tgz"

# 解壓
tar -zxvf cudnn-11.3-linux-x64-v8.2.0.53.tgz

將cudnn的標頭檔案和lib複製到cuda11.3的安裝目錄下：

sudo cp cuda/include/cudnn.h /usr/local/cuda/include/
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64/
sudo chmod a+r /usr/local/cuda/include/cudnn.h
sudo chmod a+r /usr/local/cuda/lib64/libcudnn*

2.4 下載 tensorrt8.4.2.4

本教程中，tensorrt只需要下載\、解壓即可，不需要安裝。

進入網站： https://developer.nvidia.cn/nvidia-tensorrt-8x-download
把這個打勾： I Agree To the Terms of the NVIDIA TensorRT License Agreement
選擇: TensorRT 8.4 GA Update 1
選擇: TensorRT 8.4 GA Update 1 for Linux x86_64 and CUDA 11.0, 11.1, 11.2, 11.3, 11.4, 11.5, 11.6 and 11.7 TAR Package
你將會下載這個壓縮包: "TensorRT-8.4.2.4.Linux.x86_64-gnu.cuda-11.6.cudnn8.4.tar.gz"

# 解壓
tar -zxvf TensorRT-8.4.2.4.Linux.x86_64-gnu.cuda-11.6.cudnn8.4.tar.gz
# 快速驗證一下tensorrt+cuda+cudnn是否安裝正常
cd TensorRT-8.4.2.4/samples/sampleMNIST
make
cd ../../bin/

匯出tensorrt環境變數(it is important!)，注：將LD_LIBRARY_PATH:後面的路徑換成你自己的！後續編譯onnx模型的時候也需要執行下面第一行命令

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/xxx/temp/TensorRT-8.4.2.4/lib
./sample_mnist

bash視窗列印類似如下圖的手寫數字識別表明cuda+cudnn+tensorrt安裝正常
在這裡插入圖片描述

三、YOLOv8模型部署

3.1 下載倉庫TensorRT-Alpha

git clone https://github.com/FeiYull/tensorrt-alpha

3.2 獲取onnx檔案

直接在網盤下載 weiyun or google driver 或者使用如下命令匯出onnx:

# ? yolov8 官方倉庫: https://github.com/ultralytics/ultralytics
# ? yolov8 官方教程: https://docs.ultralytics.com/quickstart/
# ?TensorRT-Alpha will be updated synchronously as soon as possible!

# 安裝 yolov8
conda create -n yolov8 python==3.8 -y
conda activate yolov8
pip install ultralytics==8.0.5
pip install onnx

# 下載官方權重(".pt" file)
https://github.com/ultralytics/assets/releases/download/v0.0.0/yolov8n.pt
https://github.com/ultralytics/assets/releases/download/v0.0.0/yolov8s.pt
https://github.com/ultralytics/assets/releases/download/v0.0.0/yolov8m.pt
https://github.com/ultralytics/assets/releases/download/v0.0.0/yolov8l.pt
https://github.com/ultralytics/assets/releases/download/v0.0.0/yolov8x.pt
https://github.com/ultralytics/assets/releases/download/v0.0.0/yolov8x6.pt

匯出 onnx:

# 640
yolo mode=export model=yolov8n.pt format=onnx dynamic=True    #simplify=True
yolo mode=export model=yolov8s.pt format=onnx dynamic=True    #simplify=True
yolo mode=export model=yolov8m.pt format=onnx dynamic=True    #simplify=True
yolo mode=export model=yolov8l.pt format=onnx dynamic=True    #simplify=True
yolo mode=export model=yolov8x.pt format=onnx dynamic=True    #simplify=True
# 1280
yolo mode=export model=yolov8x6.pt format=onnx dynamic=True   #simplify=True

3.3 編譯 onnx

# 把你的onnx檔案放到這個路徑:tensorrt-alpha/data/yolov8
cd tensorrt-alpha/data/yolov8
# 請把LD_LIBRARY_PATH:換成您自己的路徑。
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:~/TensorRT-8.4.2.4/lib
# 640
../../../../TensorRT-8.4.2.4/bin/trtexec   --onnx=yolov8n.onnx  --saveEngine=yolov8n.trt  --buildOnly --minShapes=images:1x3x640x640 --optShapes=images:4x3x640x640 --maxShapes=images:8x3x640x640
../../../../TensorRT-8.4.2.4/bin/trtexec   --onnx=yolov8s.onnx  --saveEngine=yolov8s.trt  --buildOnly --minShapes=images:1x3x640x640 --optShapes=images:4x3x640x640 --maxShapes=images:8x3x640x640
../../../../TensorRT-8.4.2.4/bin/trtexec   --onnx=yolov8m.onnx  --saveEngine=yolov8m.trt  --buildOnly --minShapes=images:1x3x640x640 --optShapes=images:4x3x640x640 --maxShapes=images:8x3x640x640
../../../../TensorRT-8.4.2.4/bin/trtexec   --onnx=yolov8l.onnx  --saveEngine=yolov8l.trt  --buildOnly --minShapes=images:1x3x640x640 --optShapes=images:4x3x640x640 --maxShapes=images:8x3x640x640
../../../../TensorRT-8.4.2.4/bin/trtexec   --onnx=yolov8x.onnx  --saveEngine=yolov8x.trt  --buildOnly --minShapes=images:1x3x640x640 --optShapes=images:4x3x640x640 --maxShapes=images:8x3x640x640
# 1280
../../../../TensorRT-8.4.2.4/bin/trtexec   --onnx=yolov8x6.onnx  --saveEngine=yolov8x6.trt  --buildOnly --minShapes=images:1x3x1280x1280 --optShapes=images:4x3x1280x1280 --maxShapes=images:8x3x1280x1280

你將會的到例如：yolov8n.trt、yolov8s.trt、yolov8m.trt等檔案。

3.4 編譯執行

git clone https://github.com/FeiYull/tensorrt-alpha
cd tensorrt-alpha/yolov8
mkdir build
cd build
cmake ..
make -j10
# 注: 效果圖預設儲存在路徑 tensorrt-alpha/yolov8/build

# 下面引數解釋
# --show 表示視覺化結果
# --savePath 表示儲存，預設儲存在build目錄
# --savePath=../ 儲存在上一級目錄

## 640
# 推理圖片
./app_yolov8  --model=../../data/yolov8/yolov8n.trt --size=640 --batch_size=1  --img=../../data/6406407.jpg   --show --savePath
./app_yolov8  --model=../../data/yolov8/yolov8n.trt --size=640 --batch_size=8  --video=../../data/people.mp4  --show --savePath

# 推理影片
./app_yolov8  --model=../../data/yolov8/yolov8n.trt     --size=640 --batch_size=8  --video=../../data/people.mp4  --show --savePath=../

# 線上推理相機影片
./app_yolov8  --model=../../data/yolov8/yolov8n.trt     --size=640 --batch_size=2  --cam_id=0  --show

## 1280
# infer camera
./app_yolov8  --model=../../data/yolov8/yolov8x6.trt     --size=1280 --batch_size=2  --cam_id=0  --show

四、參考

https://github.com/FeiYull/TensorRT-Alpha

Win10下yolov8 tensorrt模型加速部署【實戰】
2023-02-04
Win10YOLO模型
Windows10下yolov8 tensorrt模型加速部署【實戰】
2023-02-03
WindowsYOLO模型
Ubuntu18.04安裝tensorRT部署模型
2020-12-08
Ubuntu模型
使用tensorrt對ram++模型進行fp16精度加速指導
2024-04-02
模型
Yolov8訓練識別模型
2024-03-29
YOLO模型
【YOLOv5】手把手教你使用LabVIEW ONNX Runtime部署 TensorRT加速，實現YOLOv5實時物體識別
2022-11-24
YOLOView
yolov8雲伺服器快速部署
2024-03-25
YOLO伺服器
【YOLOv5】手把手教你使用LabVIEW ONNX Runtime部署 TensorRT加速，實現YOLOv5實時物體識別（含原始碼）
2022-10-31
YOLOView原始碼
使用TensorRT部署你的神經網路（1）
2020-12-29
神經網路
LabVIEW+OpenVINO在CPU上部署新冠肺炎檢測模型實戰
2022-11-24
View模型
MySQL MHA部署實戰
2020-10-09
MySql
JetsonNano2GB編譯Yolov5並用TensorRT加速教程
2020-11-14
NaN編譯YOLO
OpenFaaS實戰之一：部署
2021-07-26
從模型到部署，FPGA該怎樣加速廣告推薦演算法
2019-08-22
模型FPGA演算法
實現TensorRT-7.0外掛自由！(如果不踩坑使用TensorRT外掛功能)
2021-02-20
hadoop實戰1--部署
2019-02-17
Hadoop
metaq入門部署到實戰
2015-08-21
網易OpenStack部署運維實戰
2014-08-26
運維
輕量化模型訓練加速的思考（Pytorch實現）
2020-09-01
模型PyTorch
Nacos實戰一：架構及部署
2021-07-14
架構
shell——一鍵部署服務實戰
2020-11-18
CentOS 7實戰Kubernetes部署
2014-12-04
CentOS
Kotlin實戰--Retrofit網路模型
2021-09-09
Kotlin模型
2-7實戰迴歸模型
2020-12-17
模型
NCNN 模型推理詳解及實戰
2023-03-28
CNN模型
使用pmml實現跨平臺部署機器學習模型
2021-11-20
機器學習模型
Kubeflow實戰: 入門介紹與部署實踐
2020-08-07
TVM 加速模型，優化推斷
2022-05-22
模型優化
部署rabbitMQ映象叢集實戰測試
2020-06-29
MQ
Jenkins部署Python專案實戰
2019-04-04
JenkinsPython
機器學習實戰-SVM模型實現人臉識別
2022-06-17
機器學習模型
JVM原始碼實戰 - OOP-Klass模型
2021-09-09
JVM原始碼OOP模型
基於 Fluid+JindoCache 加速大模型訓練的實踐
2024-02-28
UI大模型
TensorRT基礎筆記
2023-01-10
筆記
OpenVINO計算機視覺模型加速
2022-12-07
計算機視覺模型
onnxruntime模型部署流程
2020-10-03
模型
kubebuilder實戰之六：構建部署執行
2021-08-31
UI
Kurento實戰之一：KMS部署和體驗
2021-08-19

【實戰】yolov8 tensorrt模型加速部署

【實戰】yolov8 tensorrt模型加速部署

一、加速結果展示

1.1 效能速覽

1.2精度對齊

二、Ubuntu18.04環境配置

2.1 安裝工具鏈和opencv

2. 安裝Nvidia相關庫

2.1 安裝Nvidia顯示卡驅動

2.2 安裝 cuda11.3

2.3 安裝 cudnn8.2

2.4 下載 tensorrt8.4.2.4

三、YOLOv8模型部署

3.1 下載倉庫TensorRT-Alpha

3.2 獲取onnx檔案

3.3 編譯 onnx

3.4 編譯執行

四、參考

相關文章