關於Residual Connection

雷姆是我的發表於2021-01-02

大家都知道ResNet(所以下次培訓機構在8888搞定resnet時候就別去了),但是其實那個ResNet這個玩意有很多很有意思的東西。

不說多了,第一篇論文ReZero裡面講了一些對ResNet的改進,注意裡面有個綜述部分。相當好玩。

第二篇論文更有意思,Rethinking Skip Connection with Layer Normalization考慮了一個其實很重要的問題,就是LayerNorm的問題。Batch Normalization的演算法其實水很深,並且有時候能起奇效。

最關鍵,這倆玩意改起來都容易,所以小夥伴可以嘗試一下~

相關文章