讀ResNet網路文獻後的一些要點梳理

1.ResNet網路的誕生是為了要解決深度學習網路的degradation problem。

2.degradation problem與過擬合之間的區別在於過擬合是train error很小，test error很大；而degradation problem則是train error和test error都會增大。

3.ResNet最初的想法是源於一個推理，即假設深層網路由一個淺層網路和多個恆等對映組合而成。若這些恆等對映都是理想的，那麼這個深層網路的訓練效能（無過擬合）就會等於淺層網路。更何況這些對映不會只侷限於恆等對映。因此，深層網路的訓練效能應該不會弱於淺層網路。於是他們猜想導致深層網路出現degradation problem的原因可能是深層網路對恆等對映的學習出現了困難。
 
 4.ResNet網路本質上是優化了網路對於恆等對映的學習方式。原因是殘差函式在學習恆等對映時，只需要將所有權值引數都趨於零即可，遠比非殘差函式要去重新學習這些引數的值要輕鬆得多。

5.shortcuts在維數變換時，有兩種選擇方式：零填充剩餘維度元素以及用1×1卷積核進行投影。其中，前者無多餘引數。與後者相比，時間複雜度較低，模型較小。

6.bottlelenck結構相比於non-bottlelenck結構，引數量更少。因此在保證輸出維度不受影響的情況下減少了計算量。

（留存待日後回顧）

Reference

1.詳解殘差網路.
2.ResNet網路結構分析.
3.Resnet 論文讀記.
4.大話深度殘差網路（DRN）ResNet網路原理.
5.殘差網路原理.