深度殘差收縮網路：（一）背景知識

深度殘差收縮網路 （Deep Residual Shrinkage Network）是深度殘差學習（Deep Residual Network, ResNet）的一種改進，發表在IEEE Transactions on Industrial Informatics上， 面向的是資料包含噪聲的情況。

簡單地講， 深度殘差收縮網路就是，將軟閾值化作為可訓練的模組，嵌入到ResNet之中。接下來結合自己的理解，解讀一下相關的背景知識。

（1）噪聲的含義

如上所述，深度殘差收縮網路面向的是資料包含噪聲的情況。事實上，這裡的“噪聲”，可以有更寬泛的解釋。 “ 噪聲”不僅可以指資料獲取過程中所摻雜的噪聲，而且可以指“與當前任務無關的資訊”。

比如說，我們在訓練一個貓狗分類器的時候，如果影像中存在老鼠，那麼老鼠就可以理解為一種噪聲。

或者說，在故障診斷領域，對於一個複雜的機械系統，可能存在很多個激振源。許多個軸、軸承、齒輪和聯軸器等的旋轉或齧合都可能會激發振動。這些振動成分都混雜在所採集的振動訊號中。如果我們的目的是檢測某一零件（比如某一個齒輪）是否發生故障，則其他零件所激發的振動，在一定程度上，都可以理解為噪聲。

從這個角度來講的話，深度殘差收縮網路可能有著更寬廣的應用場景。

（2）軟閾值化（soft thresholding）

軟閾值化是很多訊號降噪演算法中的關鍵步驟，它指的是將一段訊號的值，朝著“零”的方向進行收縮。比如，在下面的這張圖片裡，橫軸x表示輸入，縱軸y表示輸出。那麼，相較於輸入訊號，輸出訊號就朝著“零”發生了收縮。

這種降噪方式有一個前提。那就是，接近於零的部分是噪聲，或者說，是不重要的，可以被剔除掉。然而，事實上，對於很多訊號，接近於零的部分，可能包含著許多有用的資訊，不能直接被剔除掉。所以，現在通常不會直接對原始訊號進行軟閾值化處理。

針對上面這個問題，傳統的思路是將原始訊號進行某種變換，將原始訊號轉換成其他形式的表徵。理想情況下，在這種轉換後的表徵裡，接近於零的部分，是無用的噪聲。在這個時候，再採用軟閾值化對轉換後的表徵進行處理。最後，將軟閾值化處理之後的表徵，重構回去，獲得降噪後的訊號。

舉個例子，小波分析經常作為訊號的變換方法。一種經典的小波降噪流程是“小波分解→軟閾值化→小波重構”。透過這種方式，就可以實現訊號的降噪。

然而，這種訊號降噪方式有一些懸而未決的問題。首先，在小波分析中，如何構建最適合當前訊號的小波函式，或者說濾波器、區域性濾波運算元，一直是一個很困難的問題。換句話說，在小波分解之後，可以獲得一個訊號表徵（一組小波係數）；在這個訊號表徵裡面，接近於零的部分，未必就是噪聲，可能還包含著許多有用的資訊；對這個表徵進行軟閾值化，可能會將有用資訊給一併刪除了。其次，如何設定軟閾值化的閾值，也是一個很困難的問題。

（3）深度殘差學習（ResNet）

相較於傳統的小波分析，深度學習演算法（尤其是卷積神經網路）可以自動地學習所需要的濾波器，在一定程度上解決了構建合適濾波器的問題。深度殘差網路ResNet是一種改進的卷積神經網路，透過引入跨層連線，降低了模型訓練的難度，見下圖：

在跨層連線的作用下，網路引數的訓練難度大幅降低，從而更容易訓練出效果很好的深度學習模型，因此ResNet成為了一種非常知名的方法。深度殘差收縮網路就是ResNet的一種改進。

到這裡就介紹了一些相關的背景知識，後續再介紹深度殘差收縮網路的細節。

附上原文的連結：

M. Zhao, S. Zhong, X. Fu, B. Tang, and M. Pecht, “Deep Residual Shrinkage Networks for Fault Diagnosis,” IEEE Transactions on Industrial Informatics, 2019, DOI: 10.1109/TII.2019.2943898

https://ieeexplore.ieee.org/document/8850096