2張圖理解resnet核心思想

版權宣告：本文為博主原創文章，轉載需註明出處。    https://blog.csdn.net/u013698770/article/details/57977482
resnet是用於解決什麼問題的

實驗結果表明，層數的增加會提高網路的學習效果。但是，實驗結果也表明，如果只是單純的增加網路的深度，網路的學習能力會下降。實驗結果如下圖所示：56層的學習誤差比20層的學習誤差還要大。因此，我們需要一種方法，使網路的深度增加的同時，學習能力也增加。 

resnet是通過什麼方式來解決問題的

resnet的出現就是來解決這個問題的。 
一般情況下我們的網路如下圖所示，相較於resnet，我們稱之為plaint net，經過兩個神經層之後，輸出的H(x)
如下所示： 
H(x)=relu(w2∗(relu(w1∗x)))
 
H(x)和x之間存在一個函式的關係，比如說這兩層神經網路構成的是H(x)=2x這樣的關係
 

但是，在殘差的網路中，用F(x)=relu(w2∗(relu(w1∗x)))
， 
而輸出的H(x)=F(x)+x
，那麼，為什麼要這麼設定呢？ 
Residual Net 核心思想是，去擬合殘差函式 F(F=H(x)−g(x))
，選 g(x)=x
 時效果最好。 
因此，F(x)=H(x)−x

--------------------- 
作者：羅澤 
來源：CSDN 
原文：https://blog.csdn.net/u013698770/article/details/57977482 
版權宣告：本文為博主原創文章，轉載請附上博文連結！