SqueezeNet/SqueezeNext簡述 | 輕量級網路

曉飛的演算法工程筆記發表於2020-07-02

SqueezeNet系列是比較早期且經典的輕量級網路，SqueezeNet使用Fire模組進行引數壓縮，而SqueezeNext則在此基礎上加入分離卷積進行改進。雖然SqueezeNet系列不如MobieNet使用廣泛，但其架構思想和實驗結論還是可以值得借鑑的。

來源：曉飛的演算法工程筆記公眾號

SqueezeNet

論文: SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size

論文地址：https://arxiv.org/pdf/1602.07360.pdf
論文程式碼：https://github.com/forresti/SqueezeNet

Introduction

在深度學習嶄露頭角時候，很多研究都關注如何提高網路的準確率，而SqueezeNet則是早期開始關注輕量化網路的研究之一。論文的初衷是通過優化網路的結構，在與當前流行網路的準確率相差不大的情況下，大幅減少模型的引數。

SqueezeNet: Preserving Accuracy with Few Parameters

Architectural Design Strategies

論文的輕量級網路設計主要包含以下策略：

替換$3\times 3$卷積為$1\times 1$卷積，由於$1\times 1$卷積比$3\times 3$卷積有9倍的引數減少。
減少$3\times 3$卷積的輸入維度，$3\times 3$卷積的總引數量為(number of input channels)(number of filters)(3*3)，使用squeeze layers降低輸入維度，能夠降低整體的計算量。
下采樣操作儘量安排在網路較後的階段，這樣卷積層能夠有較大的特徵圖，儲存更多的資訊，從而提高準確率。

策略1和策略2主要為了減少網路的引數但保持準確率，策略3則是為了在有限的引數下最大化準確率。

The Fire Module

SqueezeNet的核心模組為Fire模組，結構如圖1所示，輸入層先通過squeeze卷積層($1\times 1$卷積)進行維度壓縮，然後通過expand卷積層($1\times 1$卷積和$3\times 3$卷積混合)進行維度擴充套件。Fire模組包含3個引數，分別為squeeze層的$1\times 1$卷積核數$s_{1x1}$、expand層的$1\times 1$卷積核數$e_{1x1}$和expand層的$3\times 3$卷積核數$e_{3x3}$，一般$s_{1x1}<(e_{1x1}+e_{3x3})$

The SqueezeNet Architecture

SqueezeNet的結構如表1所示，在conv1、fire4、fire8和conv10後新增池化層進行池化操作，網路中逐步提高輸出維度。每個squeeze層和expand層的輸出都通過ReLU啟用，而fire9模組後面會接50%的Dropout。

Evaluation of SqueezeNet

與AlexNet相比，相同準確率下，SqueezeNet僅需要1/50的引數量，量化後，最多可以縮小到1/510的引數量。

CNN Microarchitecture Design Space Exploration

論文對Fire模組的設定進行了探索實驗，主要對比squeeze層的壓縮比例以及expand層中的$3\times 3$卷積佔比。

CNN Macroarchitecture Design Space Exploration

論文對網路的微架構進行了探索實驗，主要是研究短路連線對網路的影響，對比的網路結構如圖2所示。

Conclusion

SqueezeNet作為早期的輕量級網路研究工作，雖然準確率對比的是AlexNet，但其網路壓縮比是相當可觀的，Fire模組的設計也十分新穎。

SqueezeNext

論文: SqueezeNext: Hardware-Aware Neural Network Design

論文地址：https://arxiv.org/pdf/1803.10615.pdf

Introduction

SqueezeNext是SqueezeNet實戰版升級，直接和MobileNet對比效能。SqueezeNext全部使用標準卷積，分析實際推理速度，優化的手段集中在網路整體結構的優化。

SqueezeNext Design

SqueezeNext的設計沿用殘差結構，沒有使用當時流行的深度卷積，而是直接使用了分離卷積，設計主要基於以下策略：

Low Rank Filters
低秩分解的核心思想就是將大矩陣分解成多個小矩陣，這裡使用CP分解(Canonical Polyadic Decomposition)，將$K\times K$卷積分解成$K\times 1$和$1\times K$的分離卷積，引數量能從$K^2$降為$2K$。
Bottleneck Module
引數量與輸入輸出維度有關，雖然可以使用深度卷積來減少計算量，但是深度卷積在終端系統的計算並不高效。因此採用SqueezeNet的squeeze層進行輸入維度的壓縮，每個block的開頭使用連續兩個squeeze層，每層降低1/2維度。
Fully Connected Layers
在AlexNet中，全連線層的引數佔總模型的96%，SqueezeNext使用bottleneck層來降低全連線層的輸入維度，從而降低網路引數量。