注意力機制目前有什麼缺點和改進空間？
Attention mechanism目前有什麼缺點和改進空間? - Hi-202020的回答 - 知乎
現有的注意力機制，似乎都是“加權”的形式，如下圖
殘差收縮網路將“加權”替換成了“軟閾值化”：
軟閾值化在訊號降噪演算法中很常用。透過引入軟閾值化，殘差收縮網路應該有利於應對強噪資料。
M. Zhao, S. Zhong, X. Fu, et al., Deep residual shrinkage networks for fault diagnosis, IEEE Transactions on Industrial Informatics, 2020, 16(7): 4681-4690.
https://ieeexplore.ieee.org/document/8850096
更多討論見如下連結：
深度殘差收縮網路：從刪除冗餘特徵時的靈活程度進行討論
https://my.oschina.net/u/4505302/blog/3230965
10分鐘看懂深度殘差收縮網路
來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/69980920/viewspace-2709030/，如需轉載，請註明出處，否則將追究法律責任。
相關文章
- 什麼是注意力機制？
- 為什麼使用自注意力機制？
- Python垃圾回收機制是什麼？有哪些優缺點？Python
- 通俗理解自注意力機制和多頭注意力機制
- 機櫃的種類和優缺點是什麼
- 目標檢測中的注意力機制
- 恆訊科技分析：共享主機的優點和缺點是什麼？
- 8.1 Attention（注意力機制）和TransformerORM
- 基於注意力機制與改進TF-IDF的推薦演算法演算法
- 注意力機制
- 雲主機的優缺點是什麼呢
- 免備案空間是什麼?怎麼購買免備案空間主機?
- 公共代理有什麼缺點？
- Jtti：mysql主從同步的優點和缺點是什麼JttiMySql主從同步
- Redis持久化RDB和AOF優缺點是什麼？Redis持久化
- 當居住空間被智慧包裹：OTA智慧社群改變了什麼？
- DRBD是什麼意思？優缺點是什麼？
- 開源堡壘機是什麼？開源堡壘機的優缺點是什麼？
- 當前有一套測試庫，剩餘磁碟空間不多怎麼弄
- Django框架，Flask框架和Tornado框架各有什麼優缺點Django框架Flask
- 什麼網站空間好？怎麼選擇網站空間網站
- 什麼是名稱空間？
- 與其他系統相比，Linux系統有什麼優點和缺點？Linux
- attention注意力機制學習
- 淺析注意力(Attention)機制
- 免費代理的缺點有什麼？
- 混合IT是什麼？基礎設施和優缺點有哪些？
- 八進位制，十六進位制和浮點數
- SSL自簽名證書具備什麼樣的優點和缺點
- win10電腦改時間為什麼不能點選更改 win10點選更改電腦時間不能改怎麼辦Win10
- 雲伺服器和虛擬主機哪個好？兩者有什麼優缺點？伺服器
- 深入理解圖注意力機制
- 計算機中為什麼要用二進位制計算機
- Linux如何檢視目錄佔用空間大小？常用命令是什麼？Linux
- 技術盤點：容器技術的演進路線是什麼？未來有哪些想象空間？
- TF簽名是什麼？穩定性怎麼？有什麼優缺點？
- 什麼是CDN邊緣伺服器，有什麼優缺點？伺服器
- 為什麼要前後端分離？有什麼優缺點後端