深度剖析目標檢測演算法YOLOV4

w_x_w1985發表於2020-12-10

深度剖析目標檢測演算法YOLOV4

 

目錄

 

  • 簡述 yolo 的發展歷程

  • 介紹 yolov3 演算法原理

  • 介紹 yolov4 演算法原理(相比於 yolov3,有哪些改進點)

  • YOLOV4 原始碼日誌解讀

 


 

 

 

yolo 發展歷程

 

 

採用卷積神經的目標檢測演算法大致可以分為兩個流派,一類是以 R-CNN 為代表的 two-stage,另一類是以 YOLO 為代表的 one-stage,

R-CNN 系列的原理:通過 ROI 提取出大約 2000 個候選框,然後每個候選框通過一個獨立的 CNN 通道進行預測輸出。

R-CNN 特點:準確度高,速度慢,所以速度成為它優化的主要方向。

YOLO 系列的原理:將輸入圖片作為一個整體,通過 CNN 通道進行預測輸出。

YOLO 特點:速度快,準確度低,所以準確度成為它優化的主要方向。

經過一系列的優化與改進,特別是今年 4 月份推出的 YOLOV4,使得它在準確度方面得到了大幅度的提升,另外,它還能達到實時檢測(在 GPU 加持的情況下)。

下圖是 YOLOV4 原始碼的頁面,github:  https://github.com/AlexeyAB/darknet

 

 

它的 Star 達到 13400,可以說,知名度不是一般的高,在目標檢測領域,好像只有 YOLOV3 超過它了,達到了 19000 ,是不是值得大家花點時間精力去探索一下呢 ?

這裡需要說明一下的是 YOLOV3(美國大神),YOLOV4 (俄羅斯大神)作者不是同一個人,在 19 年的時候,YOLOV3 作者發表了一個宣告:有些組織將他的演算法用於

軍事和窺探個人隱私方面,使得他在道德上很難接受,他將不再進行 CV 的研究與更新。當然,這是一個小插曲了,這裡,我們看到,YOLOV4 作者更新是非常頻繁的,

commits 達到了 2000 + 。下面我們看看官方給出的實驗結果。

 

這裡是以 COCO 作為測試資料集,相比於 YOLOV3,YOLOV4 在精度方面提升了 10%,FPS(frame per second) 提升了 12%。

順便說一句,YOLOV3 的作者也是認可 YOLOV4 的改進的,在 YOLOV3 的官網 https://github.com/pjreddie/darknet 也是給出了

YOLOV4 的連結。

 

yolov3 演算法原理

 

  

這裡借用某位大神畫的結構圖,因為 YOLOV4 是在 YOLOV3 的基礎上改進的,所以我們需要先介紹一下 YOLOV3,

這裡可能需要一些神經網路的知識,比如卷積,池化,全連線,前向傳播,反向傳播,損失函式,梯度計算,權重引數更新,如果對

這些不是很清楚,可以看我之前的部落格(卷積神經網路(CNN)詳解與程式碼實現 https://www.cnblogs.com/further-further-further/p/10430073.html)。

YOLOV3 原理我在上上一篇部落格(深度剖析YOLO系列的原理 https://www.cnblogs.com/further-further-further/p/12072225.html)有過介紹,

這裡我就介紹一下大家容易忽略,或者是比較難理解的點:

  • 輸入圖片尺寸可變

輸入圖片尺寸是 608 * 608,當然,這個尺寸是可以改變的,它只需要滿足是 32 的倍數,因為在經過後面的網路結構的時候,圖片尺寸縮小的最大倍數是 32 倍,

這可以從它的輸出 19 * 19 看出來。

  • 主幹網路

採用的是 darknet 53 層網路結構,去掉了全連線層,53 - 1 = 52

52 = 1+(1+2*1)+(1+2*2)+(1+2*8)+(1+2*8)+(1+2*4)

為什麼要去掉全連線層 ?

解答:全連線的本質是矩陣的乘法運算,會產生固定尺寸的輸出,而 YOLOV3 是需要多尺寸的輸出的,所以要去掉全連線層。

CBL :表示基礎的卷積模組,是由一個 Conv 卷積層 + BN 批量歸一化層 + relu 非線性啟用函式層組成。

為什麼在 CBL 裡沒有池化層 pooling ?

解答:池化層有兩種實現方式,最大值池化和平均值池化,他們都有一個缺點,會造成資訊的明顯丟失(相比於卷積實現池化的功能來說,改變滑動視窗的步長) 。

Res Unit(殘差單元) :表示將上一層的輸出一分為二,一部分通過兩個基礎卷積模組得到輸出,與另一部分進行求和,這樣就能使得輸出的殘差不可能為 0,

                                     從而有效的防止梯度消失或者梯度爆炸。

ResX : 是由不同的 Res Unit 組成。

多尺寸輸出:用到 2 個上取樣,注意 Concat 和 Add 的區別。

上取樣原理:以特徵圖相鄰畫素值來預測中間位置的畫素值,然後以這個值插入到中間位置,實現特徵圖尺寸的翻倍。

Concat : 特徵圖張量的拼接,拼接後尺寸不變,深度改變。

Add :特徵圖對應位置畫素值的求和,求和後的尺寸和深度不發生改變。

  • 輸出

有三個輸出,19 * 19 * 255,38 * 38 * 255,76 * 76 * 255

這三個輸出有著怎樣的物理含義 ?

 

解答:將輸入圖片網格化,網格化後的大小是 19 *19, 38 * 38,76 * 76,每個網格化後的小方格,也就是一個 grid cell,將要

          預測 3 個 bounding box,每個 bounding box = 1 個置信度 + 4 個位置資訊 + 類別總數(COCO 資料集就是 80)

為什麼每個 grid cell 要預測 3 個 bounding box ?

解答:這樣來理解,比如說,一個人站在一輛車的前面,從遠處看,這個人和這輛車中心點是完全重合的,但是我們能夠看清楚

          人和車,但是如果中心點重合的物件超過 3 個,那麼我們很有可能對第 4 個,第 5 個以及後面的物件就完全看不清楚了,

          所以,這裡的 3 表示物件中心點重疊的最大值。

bounding box 如此之多,如何確定最佳的 bounding box ?

解答:採用的 NMS(Non Maximum Suppression)非極大值抑制演算法來去除重疊。

 

 

NMS 演算法原理:> 將預測輸出的 bounding boxes 放入到左邊的列表中,以置信度來進行降序排列,找到置信度最大的 bounding box ,

                              比如說這裡的 dog1,將 dog1 移出左邊列表到右邊列表中;

                          > 遍歷左邊列表,求出每個 bounding box 與 dog1 的交併比(IoU = Intersection over Union 兩個框的交集/並集),

                             當然,要提前設定一個閾值(一般是 0.5),大於 0.5表示左邊 bounding box 與 dog1 有高度的重疊,將這個 bounding box 去掉;

                          > 重複之前的操作,直至左邊列表為空,右邊列表得到的 bounding box 就是最佳的結果;

檢測匹配問題,為什麼 19 * 19 => 大物件 ? 38 * 38 => 中等物件 ?  76 * 76 => 小物件 ?

解答:輸入圖片尺寸是固定的,比如說這裡的 608 * 608,將它網格化,網格化就有三種情況:19 * 19,38 * 38,76 * 76,那麼是不是 19 * 19 網格化後

          的小方格的寬和高要比其他兩種要大,這也就意味著它的感受視野是最大的,所以它就能檢測出大物件,而其他兩個的對應關係也是相同的道理。

 

yolov4 演算法原理

 

還是借用某位大神畫的結構圖,記不清名字了,是在抱歉。

乍一看,是不是跟 YOLOV3 長得很像,只不過比 YOLOV3 更復雜了一些,這裡 YOLOV4 的作者將結構劃分為以下四個部分:

Input,Backbone,Neck,Head,下面就來看看每個部分都做了哪些改進。

  • Input 改進點

採用 Mosaic 實現資料增強。

 

 Mosaic 演算法原理:在輸入圖片集中隨機選取 4 張圖片進行隨機縮放,隨機裁剪,隨機扭曲,然後將他們拼接起來,

                              其目的就是豐富樣本資料集。

 

  • Backbone 改進點

採用 CSPNet(Cross Stage Partial Network)網路結構,它其實是在殘差網路的基礎上發展起來的。

 

具體改進點:

        > 用 Concat 代替 Add,提取更豐富的特徵。

之前介紹過 Concat 操作後,特徵圖的尺寸不變,深度會增加,而 Add 操作後尺寸和深度都不改變,從這個意義上說,用 Concat 代替 Add,就能夠提取更豐富的特徵。

       > 引入 transition layer (1 * 1conv + 2 * 2pooling),提取特徵,降低計算量,提升速度。

為什麼引入 1 * 1conv,能夠降低計算量,提升速度 ?

 

解答:這裡我舉一個例項來說明,輸入圖片大小是 56 * 56 * 256,要求得到輸出大小是 28 * 28 * 512,這裡就有兩種實現方式:

          一次卷積方式,它的卷積核引數個數是 117 萬;另一種是二次卷積方式,引入了 1 * 1 卷積,它的卷積核引數個數是 62 萬,

         相比於一次卷積方式,它的卷積核引數個數降低了一倍。

 

        > 將 Base layer 分為兩部分進行融合,提取更豐富的特徵。

將 Base layer 一分為二,一部分通過類似殘差網路得到的輸出與另一部分進行 Concat 操作,將操作後的結果通過 Transition Layer。

  • Backbone 改進點

用 dropblock 取代 dropout

 

dropout 作用:防止過擬合,

dropout 缺點:每次訓練時隨機去掉的神經元可以通過相鄰的神經元來預測,因為隨著網路層數的增加,神經元之間的相關性是越來越強。

dropblock:每次訓練時隨機去掉一整片區域,這樣就能組合更多不一樣的網路,從而表現出更好的泛化作用。

  • Neck 改進點 

FPN(Feature pyramid networks) + PANet(Path Aggregation Network)

 

 

它其實是在 YOLOV3 的基礎上增加了一個自底向上的 PANet 結構,特徵圖的尺寸是通過下采樣得到的,而下采樣是通過卷積的方式實現的(改變滑動視窗的步長)。

  • Head 改進點

用 CIoU Loss 取代 Iou Loss

 

 IoU loss 中 IoU 交併比,兩個框的交集/並集,有兩個缺點:

  > 無法反應兩個的距離

例如 狀態 1,兩個框不相交,無論怎樣移動兩個框,IoU = 0。

  > 無法區分兩者相交的情況

例如 狀態 2 和 3,兩個框相交的情況完全不一樣,但是 IoU 相同。

 

 

 

 CIoU Loss 的思想:第一步,在兩個框最外層再畫一個最小的矩形框,求出這個框的對角線的距離,這個距離就能衡量兩個框的距離;

                               第二步,求出兩個框中心點的歐式距離,這歐式距離就能衡量兩者的相交情況。

 

CIoU Loss 數學表示式如上,它能有效的解決 IoU Loss 存在的問題。

 

YOLOV4 原始碼日誌解讀

  

 

 

 

  • 網路層數:

 YOLOV4 總共層數有 161 層,YOLOV3 是 106 層,網路層數增加是非常明顯的。

從這個圖可以看出,YOLOV4 採用了大量的 1 * 1 卷積,之前介紹過,採用 1 * 1 卷積,是能降低計算量,提升速度的。

  • 每列含義

layer : 每層操作名稱

filters :卷積核的深度

size/strd(dil):卷積核的尺寸/滑動視窗的步長

input:輸入圖片的大小

output:輸出圖片的大小

  • 代表性層的含義(需要注意的是,這裡隱藏了一個前提條件 padding = 1)

> 第 0 層 conv 卷積操作,表示 608 * 608 * 3  &  3 * 3 * 32 => 608 * 608 * 32,這裡 32(輸出特徵圖尺寸深度)

是由卷積核的深度決定的。

> 第 1 層 conv 還是卷積操作,表示 608 * 608 * 32  &  3 * 3 * 64 => 304 * 304 * 64,大家發現沒有,輸出特徵圖的尺寸

相比於輸入特徵圖的尺寸,降低了一倍,這是因為滑動視窗的步長變成了 2 。

> 第 7 層 Shortcut,它其實等價於 Add 操作,也就是第 6 層的輸出與第 4 層的輸出進行卷積,

304 * 304 * 64  &  304 * 304 * 64 => 304 * 304 * 64,輸出特徵圖的尺寸和深度都沒有改變。

> 第 9 層 route 操作,它其實等價於 Concat 操作,也就是第 8 層的輸出與第 2 層的輸出進行卷積,

304 * 304 * 64  &  304 * 304 * 64 => 304 * 304 * 128,輸出特徵圖尺寸不變,深度增加,為兩個輸入特徵圖深度之和。

相信大家理解了這些層的含義之後,對於後面的其他層的理解,就比較容易了,下面看看它最後的輸出:

76 * 76 * 255,  38 * 38 * 255,19 * 19 * 255,這跟之前介紹 YOLOV4 結構圖的輸出是相一致的。

 

引用

https://bbs.cvmart.net/topics/2365

https://pjreddie.com/media/files/papers/YOLOv3.pdf

https://arxiv.org/pdf/2004.10934.pdf

https://arxiv.org/pdf/1911.11929v1.pdf

https://arxiv.org/pdf/1803.01534.pdf

 

 

 

 

 

 不要讓懶惰佔據你的大腦,不要讓妥協拖垮了你的人生。青春就是一張票,能不能趕上時代的快車,你的步伐就掌握在你的腳下。

 

相關文章