大彙總 | 一文學會八篇經典CNN論文

忽逢桃林發表於2020-07-24
CNN

本文主要是回顧一下一些經典的CNN網路的主要貢獻。

論文傳送門

【google團隊】

  1. [2014.09]inception v1: https://arxiv.org/pdf/1409.4842.pdf
  2. [2015.02]inception v2: https://arxiv.org/pdf/1502.03167.pdf
  3. [2015.12]inception v3: https://arxiv.org/pdf/1512.00567.pdf
  4. [2016.02]inception v4: https://arxiv.org/pdf/1602.07261.pdf

【microsoft】

  1. [2015.12]resnet : https://arxiv.org/pdf/1512.03385v1.pdf

【Facebook】

  1. [2016.11]resnext : https://arxiv.org/pdf/1611.05431.pdf

【CORNELL & Tsinghua & Facebook】

  1. [2016.08]DenseNet : https://arxiv.org/pdf/1608.06993.pdf

【momenta】

  1. [2017.09]SEnet : https://arxiv.org/pdf/1709.01507.pdf

Inception v1

【主要貢獻】
在傳統網路中，神經網路都是通過增加深度來擴充套件的。Inception結構的最大特點是從網路的寬度上進行改進，通過concat操作將經過不同kernel尺度處理的feature map進行拼接。

【其他貢獻】
使用global average pooling代替全連線層，減小引數數量；使用1*1卷積層來縮減通道數量

Inception v2

【主要貢獻】
首次提出BN層，減少Internal Covariate Shift。

Inception v3

【主要貢獻】
提出卷積分解，用兩個3*3卷積核代替5*5的卷積，用三個3*3卷積核代替7*7卷積核，後來提出用1*n,n*1的卷積核代替n*n

Inception v4

【主要貢獻】
基於inception v3的基礎上，引入殘差結構，提出了inception-resnet-v1和inception-resnet-v2，並修改inception模組提出了inception v4結構。

【值得一提的是】
基於inception v4的網路實驗發現在不引入殘差結構的基礎上也能達到和inception-resnet-v2結構相似的結果，從而認為何凱明等人認為的：“要想得到深度卷積網路必須使用殘差結構”這一觀點是不完全正確的。

Inception v4的結構

感覺到Inception v4，結構就有點詭異而複雜了，有點魔改的味道。

Inception-resnet-v1

就是有一個殘差結構，其他部分也是跟inception v4類似。

Inception-resnet-v2

與incpetion-resnet-v1差別不大，在通道數上做了修改。

實驗結果對比

  • 在inception-resnet-v1與inception v3的對比中，inception-resnet-v1雖然訓練速度更快，不過最後結果有那麼一丟丟的差於inception v3；
  • 在inception-resnet-v2與inception v4的對比中，inception-resnet-v2的訓練速度更塊，而且結果比inception v4也更好一點。所以最後勝出的就是inception-resnet-v2。

【個人建議把重點放在inceptionv1-v3上，對v4瞭解一下即可】

Resnet

resnet提出是在Inception v3和inception v4中間，這樣時間線就連上了。

【主要貢獻】
殘差結構提出解決了梯度消失的問題。

左邊是基本的結構，右邊是使用1*1卷積核來降低引數。

下圖是VGG網路，plain網路和殘差網路的對比，重點就是體現殘差網路的殘差結構的跳躍的感覺。

ResNext

增加網路的深度depth是改進網路的一種思路，GoogLeNet增加網路的寬度width是另一種思路，ResNext提出了一種新的方式叫做cardinality，基數。

cardinality=32的時候，就是分成32組進行卷積。上圖中右邊的模組，就是把輸入feature map卷積從256通道壓縮到4通道，然後再對4通道的特徵圖進行3*3的卷積。然後這個過程並行重複32次，最後再把所有的結果相加，然後再根據殘差結構加上輸入的特徵圖。

【值得一提的是】
下面的三種變體完全等價：

  • 圖A就是之說的結構；
  • 圖B是在3x3卷積後進行了concat，然後再通過統一的1x1卷積操作，這個有點類似於inception-resnet；
  • C圖結構更簡潔且速度更快。採用組卷積。採用32個group，每個group的輸入輸出的通道數都是4；

【因為組卷積的放在在pytorch等庫函式中支援，所以使用組卷積的方法來實現resnext就非常的方便，就改一下引數就可以了。】

【實驗結果來說，增加Cardinality的效果是有的，和resnet50/101相比，引數量相近的情況下，resnext的準確率有所提升。】

【個人感想：這個resnext我覺得就是一個提升網路模型的trick，在建立模型的時候，baseline跑完了，可以可以試一試分組卷積，看看是否會有提升】

DenseNet

densenet緊接著在resnet之後提出，結合了resnet的思想。網路改進除了像resnet和inception在深度和寬度上做文章外，densenet通過利用feature來減少引數的同時提高效果，對feature進行有效利用並加強feature的傳遞。

【主要貢獻】
將每一層都與後面的所有層連線起來，如果一個網路中有L層，那麼會有L(L+1)/2個連線，具體連線如下圖所示：

DenseNet的一個優點是網路更淺，引數更少，很大一部分原因得益於這種dense block的設計，dense block中每個卷積層的輸出feature map的數量都很小（小於100），而不是像其他網路一樣動不動就幾百上千的寬度。同時這種連線方式使得特徵和梯度的傳遞更加有效，網路也就更加容易訓練。原文的一句話非常喜歡：Each layer has direct access to the gradients from the loss function and the original input signal, leading to an implicit deep supervision.直接解釋了為什麼這個網路的效果會很好。前面提到過梯度消失問題在網路深度越深的時候越容易出現，原因就是輸入資訊和梯度資訊在很多層之間傳遞導致的，而現在這種dense connection相當於每一層都直接連線input和loss，因此就可以減輕梯度消失現象，這樣更深網路不是問題。另外作者還觀察到這種dense connection有正則化的效果，因此對於過擬合有一定的抑制作用，博主認為是因為引數減少了，所以過擬合現象減輕。

後來引入了dense block來解決特徵圖尺寸不一致的問題：

可以看出，只有在dense block內才會網路層全連線的這種結構，彼此dense block並無連線。

SENet

【主要貢獻】
從特徵通道之間的關係入手，對特徵通道之間的關係進行建模表示，根據重要程度增強有用的特徵、抑制沒有用的特徵。
個人感覺像是在通道上做權重，類似於通道上的attention。

SE是這個結構的兩個步驟，squeeze和excitation。

squeeze擠壓

對通道進行擠壓，也就是全域性平均池化，將shape為[C,H,W]的特徵圖變成[C,1,1]。

Excitation激勵

首先通過一個全連線層進行降維，即如下公式中的W1z，然後經過relu啟用函式。即δ(W1z)，再經過全連線進行升維，即W2(δ(W1z))，然後通過sigmoid進行權重啟用。
\(s = \sigma(W_2\delta(W_1z))\)
這個s就是特徵圖每一個通道的權重值。

之後我們把這個s和每一個通道相乘，就可以得到權衡過通道重要性的特徵圖了。個人經過這個SENet，效果真的不錯。

下面試SENet block：

可以看到，這個模組是放在Inception模組之後的，所以在自己的網路中，也可以加入一個SENet元件進去。SE block是一個寄生在其他網路結構上的一個效能提升trick。

下面是殘差se block，增加了殘差結構：

【效能對比】
論文中，作者浮現了各大主流網路模型，然後加入了SE模組，發現效能均有提升！

參考博文：

  1. https://www.cnblogs.com/shouhuxianjian/p/7786760.html
  2. https://blog.csdn.net/loveliuzz/article/details/79135583
  3. https://blog.csdn.net/u014380165/article/details/71667916
  4. https://blog.csdn.net/xjz18298268521/article/details/79078551
  5. http://www.sohu.com/a/161633191_465975



相關文章