據官方訊息，ICLR 2020會議將取消線下會議，並於4月25日-30日線上舉辦虛擬會議。本屆會議共有 2594篇投稿，其中 687篇論文被接收（48篇oral論文，107篇spotlight論文和531篇poster論文），接收率為26.5%。
本文介紹發表在 ICLR 2020 上的論文《FSNet: Compression of Deep Convolutional Neural Networks by Filter Summary》。該工作針對深度卷積網路提出了一種全新的基於可微引數共享的模型壓縮方法。
文 | Yingzhen Yang
編 | 賈偉
論文連結：
深度神經網路的壓縮和加速一直是深度學習領域的熱點問題。本文針對深度卷積網路提出了一種全新的基於可微分引數共享的模型壓縮方法。
注意到卷積網路的引數主要集中於卷積核，新方法提出一種被稱為卷積核概要(Filter Summary)的新型緊湊結構來表示同一個卷積層中的所有卷積核。
我們將基線網路的每一個卷積層的所有卷積核都用一個卷積核概要來替代，這樣得到的網路被稱為卷積核概要網路 (Filter Summary Net, or FSNet)。在卷積核概要網路中, 同一個卷積層的所有卷積核都被表示成卷積核概要中的互相重疊的張量。
因為相鄰卷積核在它們的重疊區域自然的共享引數，卷積核概要的引數量遠小於基線網路對應層的所有卷積核的引數量，卷積核概要網路的引數總量也相應的遠小於其基線網路的引數總量。卷積核概要還可以和引數量化方法結合，從而進一步提高壓縮率。
我們在影像分類和目標檢測這兩個計算機視覺任務上展示卷積核概要網路的實驗結果。
在影像分類任務中，在CIFAR-10和ImageNet資料集上卷積核概要網路的壓縮率均超過了傳統的卷積核剪枝方法。
在目標檢測任務中，我們利用SSD300作為基線網路，並採用PASCAL Visual Object Classes (VOC) 2007/2012 作為訓練集。配合引數量化方法，卷積核概要網路僅用0.68M引數量即在VOC 2007的測試集上達到了70.00% mAP。作為對照，MobileNetV2 SSD-Lite (Sandler et al., 2018) 需要3.46M引數量在相同的訓練集和測試集上達到68.60% mAP。
我們進一步將卷積核概要網路和神經網路架構自動搜尋的思路結合，提出可微分卷積核概要網路 (Differentiable FSNet, or DFSNet)。
我們利用最近的可微分神經網路架構搜尋方法 (Differentiable Architecture Search, DARTS) 中的模型作為基線網路，在CIFAR-10資料的訓練集上訓練得到的可微分卷積核概要網路僅用1.88M引數量就在CIFAR-10測試集上達到了97.19%的分類準確率。相較於基線網路 (DARTS)的3.13M引數量和97.50%準確率，可微分卷積核概要網路在僅損失0.31%的準確率的代價下降低了40%的引數量。
隨著神經網路架構自動搜尋技術的發展，我們相信(可微分)卷積核概要網路將在未來發揮更大的作用。