整合多種YOLO改進點,面向小白科研的YOLO檢測程式碼庫YOLOAir

機器之心發表於2022-08-16

圖片

該專案包含大量的改進方式,並能降低改進難度,改進點包含 Backbone、Neck、Head、注意力機制、IoU 損失函式、多種 NMS、Loss 損失函式、自注意力機制系列、資料增強部分、啟用函式等部分,更多內容可以關注 YOLOAir 專案的說明文件。專案同時附帶各種改進點原理及對應的程式碼改進方式教程,使用者可根據自身情況快速排列組合,在不同的資料集上實驗, 應用組合改進點寫論文!

模組元件化:幫助使用者自定義快速組合 Backbone、Neck、Head,使得網路模型多樣化,使得改進檢測演算法、工程演算法部署落地更便捷,構建更強大的網路模型。

支援YOLOv5、YOLOv7、YOLOX、YOLOR、YOLOv3、YOLOv4、Scaled_YOLOv4、Transformer等演算法網路模型進行改進。

圖片

專案地址:  https://github.com/iscyy/yoloair

專案介紹

主要特性

持續更新支援更多的 YOLO 系列演算法模型,作者對可以進行改進的部分進行了分類:

支援更多 Backbone

  • CSPDarkNet 系列
  • ResNet 系列
  • RegNet 系列
  • RepBlock 系列
  • ShuffleNet 系列
  • Ghost 系列
  • MobileNet 系列
  • ConvNext 系列
  • RepLKNet 系列
  • EfficientNet
  • CNN 和 Transformer 混合:BoTNet、CoTNet、Acmix
  • 注意力機制 Transformer:Transformer、Swin

支援更多 Neck

  • neck 包含 FPN、PANet、BiFPN 等主流結構,同時可以新增和替換任何模組

支援更多檢測頭 Head

  • YOLOv5 Head 檢測頭
  • YOLOX 的解耦合檢測頭 Decoupled Head
  • 自適應空間特徵融合檢測頭 ASFF Head
  • YOLOv7 檢測頭 IDetect Head、IAuxDetect Head 等

支援更多即插即用的注意力機制

  • 在網路任何部分即插即用式使用注意力機制
  • SE、CBAM、CA、GAM、ECA 等多種主流注意力機制
  • Self Attention
  • Contextual Transformer
  • Bottleneck Transformer
  • S2-MLP Attention
  • SK Attention
  • CBAM Attention
  • SE Attention
  • Coordinate attention
  • BAM Attention
  • GAM attention
  • ECA Attention
  • Shuffle Attention
  • DANet Attention
  • 持續更新中

支援更多損失函式

  • CIoU、DIoU、GIoU、EIoU、SIoU、alpha IOU 等損失函式

支援更多 NMS

  • NMS、Merge-NMS、DIoU-NMS、Soft-NMS、CIoU-NMS、DIoU-NMS、GIoU-NMS、EIoU-NMS、SIoU-NMS、Soft-SIoUNMS、Soft-CIoUNMS、Soft-DIoUNMS、Soft-EIoUNMS、Soft-GIoUNMS 等持續更新中

支援更多資料增強

  • Mosaic、Copy paste、Random affine(Rotation, Scale, Translation and Shear)、MixUp、Augment HSV(Hue, Saturation, Value,Random horizontal flip)

支援更多 Loss

  • ComputeLoss、ComputeNWDLoss、ComputeXLoss、ComputeLossAuxOTA(v7)、ComputeLossOTA(v7) 等 
  • 支援載入 YOLOv3、YOLOv4、YOLOv5、YOLOv7、YOLOR 等網路的官方預訓練權重進行遷移學習
  • 支援 Anchor-base 檢測器和 Anchor-Free 檢測器

內建多種網路模型模組化元件

  • Conv, GhostConv, Bottleneck, GhostBottleneck, SPP, SPPF, DWConv, MixConv2d, DWT, BottleneckCSP2SAM, VoVCSP 等

以上元件模組使用統一模型程式碼框架、統一任務形式、統一應用方式,模組元件化可以幫助使用者自定義快速組合 Backbone、Neck、Head,使得網路模型多樣化,助力科研改進檢測演算法,構建更強大的網路模型。

內建改進網路模型配置支援

包括基於 YOLOv5 的其他幾十種改進網路結構等演算法模型的 yaml 配置檔案彙總,使用 YOLOv5 網路作為示範,可以將這些模組無縫加入到 YOLOv7、YOLOX、YOLOR、YOLOv4、Scaled_YOLOv4、YOLOv3 等系列 YOLO 演算法模組。

使用者可自行基於提供的網路模組,進行自定義改進網路。

YOLOAir 演算法庫彙總了多種主流 YOLO 系列檢測模型,一套程式碼彙集多種模型結構:

  • 內建 YOLOv5 模型網路結構
  • 內建 YOLOv7 模型網路結構
  • 內建 YOLOX 模型網路結構
  • 內建 YOLOR 模型網路結構
  • 內建 Scaled_YOLOv4 模型網路結構
  • 內建 YOLOv4 模型網路結構
  • 內建 YOLOv3 模型網路結構
  • TPH-YOLO 模型網路結構
  • YOLOv5-Lite 模型網路結構
  • YOLO-FaceV2 模型網路結構
  • PicoDet 模型網路結構
  • 以及其他部分改進模型

以上多種檢測演算法網路模型使用統一程式碼框架,整合在 YOLOAir 程式碼庫中,統一應用方式。便於科研者用於論文演算法模型改進,模型對比,實現網路組合多樣化,包含輕量化模型和精度更高的模型,根據場景合理選擇,在精度和速度者兩個方面取得平衡。同時該庫支援解耦不同的結構和模組元件,讓模組元件化,透過組合不同的模組元件,使用者可以根據不同資料集或不同業務場景自行定製化構建不同檢測模型。

使用

程式碼遵循 YOLOv5 設計原則,使用方式基本和 YOLOv5 框架對齊。

安裝

在 Python>=3.7.0 的環境中克隆版本倉並安裝 requirements.txt,包括 PyTorch>=1.7。
$ git clone https://github.com/iscyy/yoloair.git  # 克隆
$ cd yoloair
$ pip install -r requirements.txt  # 安裝

訓練
$ python train.py --data coco128.yaml --cfg configs/yolov5/yolov5s.yaml

推理

detect.py 在各種資料來源上執行推理, 並將檢測結果儲存到 runs/detect 目錄。
$ python detect.py --source img.jpg

融合

如果使用不同的模型推理資料集,可以使用 wbf.py 透過加權框融合來整合結果。在 wbf.py 中設定 img 路徑和 txt 路徑。
$ python tools/wbf.py

教程

基本教程與 YOLOv5 框架同步,
其他教程如下 (持續更新中…)

圖片

相關文章