論文：https://arxiv.org/abs/2009.12021
作者：Xudong Wang, Stella X. Yu from UC, Berkeley
1.Abstract
這篇文章提出了TBC(Tied Block Convolution)卷積，實現更強的CNN模型，是一種新的卷積形態，即插即用。
與ResNet、SENet結合為TiedResNet、TiedSENet漲點明顯，同時也可以應用於分類、檢測、分割等任務，程式碼即將開源。
2.INTRODUCTION
卷積是卷積神經網路（CNN）的主要組成部分。通過影像觀察到，通道數量隨著深度的增加而增加，優化後的CNN通常具有高度相關的Filters，從而降低了特徵的表達能力。
通過圖(a)可以看出，隨著網路Layer的加深，卷積核之間的相關性越來越強；
通過圖(b)也可以得到，隨著Layer的增加，filter的多樣性減少，filter之間的相關性在增加；
為了解決這種冗餘的狀況，作者提出了在不同通道塊上共享相同filter的Tied Block Convolution(TBC)，並通過單個filter產生多個響應。
TBC不僅僅在標準卷積使用，還可以擴充套件到分組卷積和全連線層，並且可以應用於各種backbone和注意力模組。同時與標準卷積和分組卷積相比，TBC卷積具有明顯的效果和效能，所提出的TiedSE注意力模組甚至可以使用比SE模組少64倍的引數情況下得到相匹配的表現。
特別是，標準的CNN經常在存在遮擋的情況下無法準確地提取資訊，並造成多個冗餘的部分。而TBC天生具有去除冗餘的性質可以減少相關性並可以有效處理高度重疊的例項。當遮擋率為80％時，TBC可將MS-COCO上物體檢測的平均精度提高6％。
2.1、Backbone Networks
這裡應該是大家都熟知的經典模型了：
AlexNet, VGGNet, GoogleNet, ResNet, ResNeXt, HRNet 等等。
2.2、Attention Modules
這裡羅列的Attention也是大家所熟知的：
SENet, SKNet, GCBNet, CAM, MS-CAM 等等。
3.Tied Block Convolution Network Design
3.1、TBC卷積的誕生
3.2、TBC卷積相對於GC卷積的優勢
(1)相對於GC卷積，引數量降低了B倍；
(2)TBC在GPU利用上只有1個Fragmentation，而GC有G個Fragmentations，大大降低了相似程度；
(3)每一組TBC filters都應用於所有輸入通道，可以更好地建立跨通道依賴關係；
由上圖可以得知：GC隨group數量增加，處理時間線性上升；而TBC保持著幾乎相同的處理時間。
3.3、TBC卷積的擴充使用
1、TGC(Tied Block Group Convolution)卷積
TBC卷積的思想也可以直接應用到Group卷積中，表示為:
2、TFC(Tied Block Fully Connected Layer)
將同樣的TBC卷積的思想應用到FC中。Tied Block Fully Connected Layer(TFC)共享輸入通道等塊之間的FC連線。
3.4、TBC構建的Bottleneck
3.4.1、TiedResNet
下圖為基於TBC卷積和ResNet構建的TiedResNet Bottleneck：
mixer：然而，失去跨通道整合可能會削弱模型，為了新增回去，作者引入了一個mixer（混合器），這個mixer融合了多個split塊的輸出。引入mixer可以將效能再提升0.5%。mixer的輸入可以是拼接的，也可以是各split塊輸出元素之和。
（ps：作者做了一個實驗，發現拼接方法的acc表現略勝一籌，但引數量較多）
3.4.2、TiedResNeXt
下圖為基於TBC卷積和ResNet構建的TiedResNeXt Bottleneck：
3.4.3、TiedResNeSt
下圖為基於TBC卷積和ResNet構建的TiedResNeSt Bottleneck：
3.4.4、TiedSE
下圖為基於TBC卷積和ResNet構建的TiedSE Bottleneck：
4.EXPERIMENTS
4.1、影像分類實驗
4.2、目標檢測實驗
由上表可以看出，加入Tied CNN後效能得到了明顯的提升，同時引數還下降了很多：
4.3、例項分割實驗
4.4、視覺化結果分析
通過Heatmap（類啟用熱力圖）可以看出，TiedResNet對物體所在區域的畫素更為敏感。
這裡x軸是餘弦相似度，y軸是概率密度。我們知道ResNet相比VGG有較少冗餘，而和ResNet相比，TiedResNet具有更小的相似度，消除了深層更多的冗餘，這也驗證了作者的假設和動機。
通過分析Heatmap和Histograms可以看出基於Tied CNN的模型由於去除了深層網路層冗餘的kernel，模型注意力更加地集中，因此對於目標檢測或者例項分割出現遮擋的情況更加的魯棒。效果如下圖所示：
圖中第一排為ResNet作為BackBone的結果，第二排為TiedResNet作為BackBone的結果，可見對於遮擋的情況，TiedCNN有更好的效果。
5.Summary
(1)作者提出了在不同通道塊上共享相同filter的TBC並通過單個filter產生多個相應。
(2)TBC的概念也可以擴充套件到分組卷積和全連線層，並且能夠應用於各種backbone網路和注意力模組，相較於baseline會有較為顯著的提升。
(3)基於TBC的TiedResNet以更高的引數使用效率和更好的檢測被遮擋物體的能力超越了baseline。