深度殘差收縮網路：（三）網路結構

（1）回顧一下深度殘差網路的結構

在下圖中，(a)-(c)分別是三種殘差模組，(d)是深度殘差網路的整體示意圖。BN指的是批標準化(Batch Normalization)，ReLU指的是整流線性單元啟用函式(Rectifier Linear Unit)，Conv指的是卷積層(Convolutional layer)，Identity shortcut指的是跨層的恆等對映，RBU指的是殘差模組(Residual Building Unit)，GAP是全域性均值池化(Global Average Pooling)，FC是全連線層(Fully Connected Layer)。

C表示特徵圖的通道數，W表示特徵圖的寬度，1表示特徵圖的高度始終為1（這是因為這篇文章以一維的振動訊號作為輸入）。

在Conv後的括號中，K表示卷積層中卷積核的個數。當K=C時，輸出特徵圖的通道數為C。當K=2C時，輸出特徵圖的通道數為2C。/2表示的是卷積核每次移動的步長為2，從而使得輸出特徵圖的寬度減半。

我們可以看到，在圖(a)中，輸入特徵圖的尺寸為C×W×1，輸出特徵圖的尺寸也是C×W×1，也就是說，特徵圖的尺寸保持不變。在圖(b)中，輸出特徵圖的尺寸減小為C×(0.5W)×1，換言之，寬度減小為原先的一半。在圖(c)中，輸出特徵圖的尺寸變為2C×(0.5W)×1，即不僅寬度減小為原先的一半，而且通道數增加了一倍。

（2）深度殘差收縮網路的網路結構

在該論文中，提出了兩種深度殘差收縮網路(Deep Residual Shrinkage Networks，簡稱DRSN)。第一種是“通道之間共享閾值的深度殘差收縮網路(Deep Residual Shrinkage Networks with Channel-shared Thresholds，簡稱DRSN-CS)”，第二種是“逐通道不同閾值的深度殘差收縮網路(Deep Residual Shrinkage Networks with Channel-wise Thresholds，簡稱DRSN-CW)”。

在下圖中，(a)表示一種改進後的殘差模組，名為“殘差收縮模組-通道之間共享閾值(Residual Shrinkage Building Unit with Channel-shared thresholds，簡稱RSBU-CS)”；(b)表示的是DRSN-CS的整體結構示意圖；(c)表示另一種改進後的殘差模組，名為“殘差收縮模組-逐通道不同閾值(Residual Shrinkage Building Unit with Channel-wise thresholds，簡稱RSBU-CW)”；(d)表示的是DRSN-CW的整體結構示意圖。

其中，M表示的是全連線層神經元的個數。M=C表示神經元的個數與之前特徵圖的通道數相等，M=1表示神經元的個數為1。Absolute表示對特徵圖中的每個元素取絕對值，Average表示求特徵圖內所有元素的平均值。

可以看出，深度殘差收縮網路的整體結構，和傳統的深度殘差網路，沒有區別。其區別在於殘差模組的不同。在改進後的殘差模組中，不僅有一個軟閾值化函式作為非線性層，而且嵌入了一個子網路，用於自動地設定軟閾值化所需要的閾值。

前兩篇的內容：

深度殘差收縮網路：（一）背景知識 https://www.cnblogs.com/yc-9527/p/11598844.html

深度殘差收縮網路：（二）整體思路 https://www.cnblogs.com/yc-9527/p/11601322.html

原文的連結：

M. Zhao, S. Zhong, X. Fu, B. Tang, and M. Pecht, “Deep Residual Shrinkage Networks for Fault Diagnosis,” IEEE Transactions on Industrial Informatics, 2019, DOI: 10.1109/TII.2019.2943898

https://ieeexplore.ieee.org/document/8850096