請問，深度殘差網路已經那麼厲害，讓我們改進圖片分類的研究生從哪裡創新？

請問，深度殘差網路已經那麼厲害，讓我們改進圖片分類的研究生從哪裡創新？ - amaze2的回答 - 知乎

也許可以從其他領域的深度學習方法，獲取一些靈感。

例如，殘差收縮網路是殘差網路ResNet的一種改進，原本是用在含噪振動訊號上，開展旋轉機械的故障診斷。

首先，殘差收縮網路就是將訊號降噪領域的軟閾值函式，引入ResNet中，作為一個非線性的層。如果不瞭解軟閾值函式的話，可以去搜一下Soft Threshlding，會搜到這一篇：DL Donoho. De-noising by soft-thresholding[J]. IEEE transactions on information theory, 1995. 軟閾值函式的公式如下：

然後，藉助類似Squeeze-and-Excitation Network的子網路，來自動設定軟閾值函式所需要的閾值。殘差收縮網路的基本模組見下圖：

如果圖片包含很多與標籤無關的雜物或者噪聲，可以嘗試一下殘差收縮網路的效果。

文獻：Minghang Zhao, Shisheng Zhong, Xuyun Fu, Baoping Tang, Michael Pecht,Deep residual shrinkage networks for fault diagnosis, IEEE Transactions on Industrial Informatics, 2020, 16(7): 4681-4690.

下面的連結可以供參考：

https://ieeexplore.ieee.org/document/8850096

10分鐘看懂深度殘差收縮網路 - 翼下之峰 - 部落格園

https://www.cnblogs.com/uizhi/p/12239690.html

【深度殘差收縮網路】從刪除冗餘特徵時的靈活性進行探討

https://blog.csdn.net/ABCD_202020/article/details/105801032