3BLUE神經網路筆記

3blue的神經網路第一集筆記

以手寫數字識別為例，28*28的畫素平臺上，得到的784個畫素點平鋪開來

然後加權乘起來，再累加

 

 

再加上偏置值，最後用sigmoid函式或者ReLU函式處理

 

 

輸入是784個，中間有兩層16個神經元的隱含層，輸出是10個數字，最後有13002種可能的結果

 

 

3blue的神經網路第二集筆記

決定其啟用值的加權和權重，可指那些連線的強弱

偏置值則表明神經元是否更容易被啟用

 

為了讓神經元訓練的效果更好

需要計算損失函式loss function並且不斷逼近區域性最小

在逼近區域性最小的過程中，就像小球落下一樣，無法保證落到的區域性最小值就是代價函式可能達到的全域性最小值

如果移動的步長和斜率相關的話，那麼逼近區域性最小值的時候，步長會很小，防止掉過頭

 

 

讓函式值最小的演算法，就是先計算梯度，再按梯度反方向走一小步下山，然後迴圈

negative gradient of this cost function

 

 

 

3blue的神經網路第三集筆記

梯度向量的每一項的大小都是在告訴大家 ，代價函式對於每個引數有多敏感

stochastic gradient descent 隨機梯度下降法 像醉漢下山，但是比精細的找準下山最近的路要來的方便快捷

 

增加啟用值，有三種方法可以走：

增加偏置值b、增加權重值w、改變上一層的啟用值a

 

 

小結

BP反向傳播演算法，其實是單個訓練樣本想怎樣修改權重與偏置，不僅是說每個引數是變小還是變大，還包括了這些變化的比例是多大 才能最快的降低代價

 

不足

視訊p1並未講的很細，大體上知道它是通過隨機梯度下降法來提升好的增益，p2的數學部分視訊需要補課