深度學習中的Dropout

韜韜江水發表於2020-12-02
深度學習

Dropout的簡單介紹請檢視原文連結：https://zhuanlan.zhihu.com/p/38200980

以下為個人思考：

       正如原文所說，Dropout起到平均的作用，減少神經元之間的依賴性。但顯然，Dropout是一種簡單而直接的方法，原因是其固定概率隨機忽略神經元。為了改進該方法，可以設計更復雜的演算法達到取平均和減少依賴性的作用。例如對神經元輸出值或連線權值明顯偏離均值的神經元，進行忽略處理或以相對概率減少其連線權值，促使網路更依靠大多數神經元的共同作用進行識別，讓大多數神經元分別學習各個小特徵，同樣達到取平均和減少神經元間依賴性的效果。

相關文章