YOLOv5模型訓練及檢測

一、為什麼使用YOLOv5

二、軟體工具

2.1 Anaconda

https://www.anaconda.com/products/individual

2.2 PyCharm

https://www.jetbrains.com/zh-cn/pycharm/download/

2.3 LabelImg

https://github.com/tzutalin/labelImg

三、圖片標註

為了訓練自己的資料集，需要將自己的圖片及要識別的物體進行標註，俗稱“打標籤”，本文使用LabelImg工具對影像進行標註。

3.1 左側工具欄

Open Dir：待標註圖片資料的路徑資料夾

Change Save Dir：儲存類別標籤的路徑資料夾

PascalVOC：標註的標籤儲存成VOC格式

3.2 上方選單欄

Auto Save mode：當你切換到下一張圖片時，就會自動把上一張標註的圖片標籤自動儲存下來，這樣就不用每標註一樣圖片都按Ctrl+S儲存一下了

Display Labels：標註好圖片之後，會把框和標籤都顯示出來

Advanced Mode：這樣標註的十字架就會一直懸浮在視窗，不用每次標完一個目標，再按一次W快捷鍵，調出標註的十字架。

3.3 其它快捷鍵：

W：調出標註的十字架，開始標註

A：切換到上一張圖片

D：切換到下一張圖片

Ctrl+S：儲存標註好的標籤

del：刪除標註的矩形框

Ctrl+滑鼠滾輪：按住Ctrl，然後滾動滑鼠滾輪，可以調整標註圖片的顯示大小

Ctrl+U：選擇要標註圖片的資料夾

Ctrl+R：選擇標註好的label標籤存放的資料夾

↑→↓←：移動標註的矩形框的位置

3.4 標註樣例

四、環境配置

4.1 開啟Anaconda Prompt

在安裝好Anaconda之後，Win+S進入搜尋框，搜尋Anaconda Prompt，開啟

4.2 建立PyTorch環境

輸入指令：

conda create -n pytorch python=3.9

如出現提示詢問“是否”，一律輸入y，回車，即可。

其中“pytorch”為該環境名稱，可改為任意名稱，為方便起見，下文一律使用pytorch作為該環境名

4.3 使用PyTorch環境

輸入命令：

conda activate pytorch

4.4 安裝PyTorch

在使用pytorch環境後，進入PyTorch官網（PyTorch官網），選擇自己電腦相應配置，下圖為本機使用配置，可作為參考。注意Compute Platform檢視好裝置顯示卡是否支援CUDA以及支援版本。

複製Run this Command中的命令到Anaconda Prompt中，回車，即可執行。如詢問問題，一律選擇y即可。

至此，環境配置安裝完成。

五、YOLOv5程式碼

5.1 程式碼獲取

進入GitHub上官方網頁（ultralytics/yolov5: YOLOv5 ? in PyTorch > ONNX > CoreML > TFLite (github.com)。

點選左上角分支按鈕，點選Tags，可以選擇程式碼版本，本文使用v6.0

右上角點選點選Code → Download ZIP

解壓後放在想要的專案資料夾中即可。

5.2 開啟專案以及環境配置

右鍵專案資料夾→Open Folder as PyCharm Project

進入PyCharm後，左上角選單欄選擇File→Settings進入設定介面。找到Project：xxxx選項→Python Interpreter，下拉選單選擇環境。

如果沒有選項，可以點選右側齒輪圖示，在Conda Environment→Existing environment中找到相應位置，選擇編譯器。

設定好後如圖，然後點選Apply。

下方點選Terminal開啟命令列視窗，輸入指令：

conda activate pytorch
pip install -r requirements.txt

等待安裝好所有所需檔案即可。

5.3 程式碼檔案

其中主要涉及到的兩個檔案，一個是train.py用於訓練，一個是detect.py用於檢測。

5.3.1 train.py

主要需要了解的是451行開始的parse_opt函式，程式碼如下

def parse_opt(known=False):
   parser = argparse.ArgumentParser()
   parser.add_argument('--weights', type=str, default=ROOT / 'yolov5s.pt', help='initial weights path')
   parser.add_argument('--cfg', type=str, default='', help='model.yaml path')
   parser.add_argument('--data', type=str, default=ROOT / 'data/coco128.yaml', help='dataset.yaml path')
   parser.add_argument('--hyp', type=str, default=ROOT / 'data/hyps/hyp.scratch.yaml', help='hyperparameters path')
   parser.add_argument('--epochs', type=int, default=300)
   parser.add_argument('--batch-size', type=int, default=16, help='total batch size for all GPUs, -1 for autobatch')
   parser.add_argument('--imgsz', '--img', '--img-size', type=int, default=640, help='train, val image size (pixels)')
   parser.add_argument('--rect', action='store_true', help='rectangular training')
   parser.add_argument('--resume', nargs='?', const=True, default=False, help='resume most recent training')
   parser.add_argument('--nosave', action='store_true', help='only save final checkpoint')
   parser.add_argument('--noval', action='store_true', help='only validate final epoch')
   parser.add_argument('--noautoanchor', action='store_true', help='disable AutoAnchor')
   parser.add_argument('--evolve', type=int, nargs='?', const=300, help='evolve hyperparameters for x generations')
   parser.add_argument('--bucket', type=str, default='', help='gsutil bucket')
   parser.add_argument('--cache', type=str, nargs='?', const='ram', help='--cache images in "ram" (default) or "disk"')
   parser.add_argument('--image-weights', action='store_true', help='use weighted image selection for training')
   parser.add_argument('--device', default='', help='cuda device, i.e. 0 or 0,1,2,3 or cpu')
   parser.add_argument('--multi-scale', action='store_true', help='vary img-size +/- 50%%')
   parser.add_argument('--single-cls', action='store_true', help='train multi-class data as single-class')
   parser.add_argument('--optimizer', type=str, choices=['SGD', 'Adam', 'AdamW'], default='SGD', help='optimizer')
   parser.add_argument('--sync-bn', action='store_true', help='use SyncBatchNorm, only available in DDP mode')
   parser.add_argument('--workers', type=int, default=8, help='max dataloader workers (per RANK in DDP mode)')
   parser.add_argument('--project', default=ROOT / 'runs/train', help='save to project/name')
   parser.add_argument('--name', default='exp', help='save to project/name')
   parser.add_argument('--exist-ok', action='store_true', help='existing project/name ok, do not increment')
   parser.add_argument('--quad', action='store_true', help='quad dataloader')
   parser.add_argument('--linear-lr', action='store_true', help='linear LR')
   parser.add_argument('--label-smoothing', type=float, default=0.0, help='Label smoothing epsilon')
   parser.add_argument('--patience', type=int, default=100, help='EarlyStopping patience (epochs without improvement)')
   parser.add_argument('--freeze', nargs='+', type=int, default=[0], help='Freeze layers: backbone=10, first3=0 1 2')
   parser.add_argument('--save-period', type=int, default=-1, help='Save checkpoint every x epochs (disabled if < 1)')
   parser.add_argument('--local_rank', type=int, default=-1, help='DDP parameter, do not modify')

   \# Weights & Biases arguments
   parser.add_argument('--entity', default=None, help='W&B: Entity')
   parser.add_argument('--upload_dataset', nargs='?', const=True, default=False, help='W&B: Upload data, "val" option')
   parser.add_argument('--bbox_interval', type=int, default=-1, help='W&B: Set bounding-box image logging interval')
   parser.add_argument('--artifact_alias', type=str, default='latest', help='W&B: Version of dataset artifact to use')

   opt = parser.parse_known_args()[0] if known else parser.parse_args()
   return opt

epochs：指的就是訓練過程中整個資料集將被迭代多少次。

batch-size：一次看完多少張圖片才進行權重更新，梯度下降的mini-batch。

cfg：儲存模型結構的配置檔案

data：儲存訓練、測試資料的檔案

img-size：輸入圖片寬高。

rect：進行矩形訓練

resume：恢復最近儲存的模型開始訓練

nosave：僅儲存最終checkpoint

notest：僅測試最後的epoch

evolve：進化超引數

bucket：gsutil bucket

cache-images：快取影像以加快訓練速度

weights：權重檔案路徑

name： 重新命名results.txt to results_name.txt

device：cuda device, i.e. 0 or 0,1,2,3 or cpu

adam：使用adam優化

multi-scale：多尺度訓練，img-size +/- 50%

single-cls：單類別的訓練集

5.3.2 detect.py

其中需要了解的是第216行開始的parse_opt函式，程式碼如下：

def parse_opt():
    parser = argparse.ArgumentParser()
    parser.add_argument('--weights', nargs='+', type=str, default=ROOT / 'yolov5s.pt', help='model path(s)')
    parser.add_argument('--source', type=str, default=ROOT / 'data/images', help='file/dir/URL/glob, 0 for webcam')
    parser.add_argument('--data', type=str, default=ROOT / 'data/coco128.yaml', help='(optional) dataset.yaml path')
    parser.add_argument('--imgsz', '--img', '--img-size', nargs='+', type=int, default=[640], help='inference size h,w')
    parser.add_argument('--conf-thres', type=float, default=0.25, help='confidence threshold')
    parser.add_argument('--iou-thres', type=float, default=0.45, help='NMS IoU threshold')
    parser.add_argument('--max-det', type=int, default=1000, help='maximum detections per image')
    parser.add_argument('--device', default='', help='cuda device, i.e. 0 or 0,1,2,3 or cpu')
    parser.add_argument('--view-img', action='store_true', help='show results')
    parser.add_argument('--save-txt', action='store_true', help='save results to *.txt')
    parser.add_argument('--save-conf', action='store_true', help='save confidences in --save-txt labels')
    parser.add_argument('--save-crop', action='store_true', help='save cropped prediction boxes')
    parser.add_argument('--nosave', action='store_true', help='do not save images/videos')
    parser.add_argument('--classes', nargs='+', type=int, help='filter by class: --classes 0, or --classes 0 2 3')
    parser.add_argument('--agnostic-nms', action='store_true', help='class-agnostic NMS')
    parser.add_argument('--augment', action='store_true', help='augmented inference')
    parser.add_argument('--visualize', action='store_true', help='visualize features')
    parser.add_argument('--update', action='store_true', help='update all models')
    parser.add_argument('--project', default=ROOT / 'runs/detect', help='save results to project/name')
    parser.add_argument('--name', default='exp', help='save results to project/name')
    parser.add_argument('--exist-ok', action='store_true', help='existing project/name ok, do not increment')
    parser.add_argument('--line-thickness', default=3, type=int, help='bounding box thickness (pixels)')
    parser.add_argument('--hide-labels', default=False, action='store_true', help='hide labels')
    parser.add_argument('--hide-conf', default=False, action='store_true', help='hide confidences')
    parser.add_argument('--half', action='store_true', help='use FP16 half-precision inference')
    parser.add_argument('--dnn', action='store_true', help='use OpenCV DNN for ONNX inference')
    opt = parser.parse_args()
    opt.imgsz *= 2 if len(opt.imgsz) == 1 else 1  # expand
    print_args(FILE.stem, opt)
    return opt

weights：訓練的權重

source：測試資料，可以是圖片/視訊路徑，也可以是'0'(電腦自帶攝像頭),也可以是rtsp等視訊流

output：網路預測之後的圖片/視訊的儲存路徑

img-size：網路輸入圖片大小

conf-thres：置信度閾值

iou-thres：做nms的iou閾值

device：設定裝置

view-img：是否展示預測之後的圖片/視訊，預設False

save-txt：是否將預測的框座標以txt檔案形式儲存，預設False

classes：設定只保留某一部分類別，形如0或者0 2 3

agnostic-nms：進行nms是否也去除不同類別之間的框，預設False

augment：推理的時候進行多尺度，翻轉等操作(TTA)推理

update：如果為True，則對所有模型進行strip_optimizer操作，去除pt檔案中的優化器等資訊，預設為False

六、訓練自定義資料集

6.1 資料夾及資料準備

在專案資料夾中建立dataset資料夾

在dataset資料夾中建立三個資料夾：images，annotations，imagesets

將標註過的圖片移入images資料夾

將標註生成的xml檔案移入annotations資料夾

在imagesets資料夾中建立main資料夾

在dataset資料夾中建立python程式碼split_train_val.py：

# coding:utf-8

import os
import random
import argparse

parser = argparse.ArgumentParser()
#xml檔案的地址，根據自己的資料進行修改 xml一般存放在Annotations下
parser.add_argument('--xml_path', default='annotations', type=str, help='input xml label path')
#資料集的劃分，地址選擇自己資料下的ImageSets/Main
parser.add_argument('--txt_path', default='imagesets/main', type=str, help='output txt label path')
opt = parser.parse_args()

trainval_percent = 1.0
train_percent = 0.9
xmlfilepath = opt.xml_path
txtsavepath = opt.txt_path
total_xml = os.listdir(xmlfilepath)
if not os.path.exists(txtsavepath):
    os.makedirs(txtsavepath)

num = len(total_xml)
list_index = range(num)
tv = int(num * trainval_percent)
tr = int(tv * train_percent)
trainval = random.sample(list_index, tv)
train = random.sample(trainval, tr)

file_trainval = open(txtsavepath + '/trainval.txt', 'w')
file_test = open(txtsavepath + '/test.txt', 'w')
file_train = open(txtsavepath + '/train.txt', 'w')
file_val = open(txtsavepath + '/val.txt', 'w')

for i in list_index:
    name = total_xml[i][:-4] + '\n'
    if i in trainval:
        file_trainval.write(name)
        if i in train:
            file_train.write(name)
        else:
            file_val.write(name)
    else:
        file_test.write(name)

file_trainval.close()
file_train.close()
file_val.close()
file_test.close()

注意其中有些目錄需要修改為自己計算機上對應目錄

執行程式碼，會在main資料夾中自動生成如下四個檔案：

6.2 準備標籤檔案

在dataset資料夾中新建python程式碼檔案voc_label.py：

# -*- coding: utf-8 -*-
import xml.etree.ElementTree as ET
import os
from os import getcwd

sets = ['train', 'val', 'test']
classes = ["hat", "no hat"]   # 改成自己的類別
abs_path = os.getcwd()
print(abs_path)

def convert(size, box):
    dw = 1. / (size[0])
    dh = 1. / (size[1])
    x = (box[0] + box[1]) / 2.0 - 1
    y = (box[2] + box[3]) / 2.0 - 1
    w = box[1] - box[0]
    h = box[3] - box[2]
    x = x * dw
    w = w * dw
    y = y * dh
    h = h * dh
    return x, y, w, h

def convert_annotation(image_id):
    #修改自己電腦上對應檔案目錄
    in_file = open('D:/dev/yolov5-master/dataset/annotations/%s.xml' % (image_id), encoding='UTF-8')
    out_file = open('D:/dev/yolov5-master/dataset/labels/%s.txt' % (image_id), 'w')
    tree = ET.parse(in_file)
    root = tree.getroot()
    size = root.find('size')
    w = int(size.find('width').text)
    h = int(size.find('height').text)
    for obj in root.iter('object'):
        difficult = obj.find('difficult').text
        cls = obj.find('name').text
        if cls not in classes or int(difficult) == 1:
            continue
        cls_id = classes.index(cls)
        xmlbox = obj.find('bndbox')
        b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text),
             float(xmlbox.find('ymax').text))
        b1, b2, b3, b4 = b
        # 標註越界修正
        if b2 > w:
            b2 = w
        if b4 > h:
            b4 = h
        b = (b1, b2, b3, b4)
        bb = convert((w, h), b)
        out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')

wd = getcwd()
for image_set in sets:
    #修改為自己電腦上對應目錄
    if not os.path.exists('D:/dev/yolov5-master/dataset/labels/'):
        os.makedirs('D:/dev/yolov5-master/dataset/labels/')
    image_ids = open('D:/dev/yolov5-master/dataset/imagesets/main/%s.txt' % (image_set)).read().strip().split()
    list_file = open('D:/dev/yolov5-master/dataset/%s.txt' % (image_set), 'w')
    for image_id in image_ids:
        list_file.write(abs_path + '\images\%s.jpg\n' % (image_id))
        convert_annotation(image_id)
    list_file.close()

注意修改程式碼中地址為自己計算機檔案中地址、修改標籤類別為標註的類別

執行後dataset資料夾中會生成labels資料夾，以及三個txt檔案：test.txt，train.txt，val.txt，如下圖所示：

6.3 建立資料集配置檔案

在data資料夾中新建CustomData.yaml：

train: D:\dev\yolov5-master\dataset\train.txt
val: D:\dev\yolov5-master\dataset\val.txt

# number of classes
nc: 2

# class names
names: ['hat', 'no hat']

注意需要修改檔案路徑、標籤類別數量、以及類別名稱

6.4 模型配置

在專案目錄下的model資料夾下是模型的配置檔案，這邊提供s、m、l、x版本，逐漸增大（隨著架構的增大，訓練時間也是逐漸增大），假設採用yolov5s.yaml，只用修改一個引數，把nc改成自己的類別數

6.5 訓練模型

在train.py檔案中修改模型配置路徑：

其他引數也可根據需要進行修改，具體請翻閱5.3.1 train.py

在命令列中輸入編譯執行開始訓練：

python train.py --img 640 --batch 8 --epoch 200 --data data/CustomData.yaml --cfg models/yolov5s.yaml --weights weights/yolov5s.pt –-device 0

因為本機只有一張顯示卡，所以device設為0，若有多張顯示卡，可設為0,1等

6.6 訓練結果

最後結果會儲存在專案目錄下的runs/train資料夾中，如下圖：

其中權重檔案在weights資料夾中，包含best.pt，是效果最好的權重，以及last.pt是最後一次訓練的權重。

七、目標識別

下面主要涉及detect.py程式碼檔案

7.1 待檢測目標存放

--source可以選擇待檢測目標的源地址，可以是圖片、視訊、或者rtps監控視訊源等。下以儲存在專案目錄中data/images資料夾中為例，也就是預設資料夾。

7.2 選擇權重檔案

權重檔案選擇剛才訓練好的best.pt即可，在--weights中改為剛才訓練的best.pt的路徑，如圖：

7.3 識別

執行detect.py即可，結果預設存放在runs/detect中，如圖：