《深度學習Ng》課程學習筆記01week3——淺層神經網路

weixin_34337265發表於2017-09-07
深度學習筆記神經網路

http://blog.csdn.net/u011239443/article/details/77884830

3.1 神經網路概覽

1621805-eab80d6b03c2ce22.png

3.2 神經網路表示

1621805-05be8ec544d406f7.png

3.3 計算神經網路的輸出

1621805-2f33bdf7ae3f2a5a.png

對應的正向傳播公式：

1621805-c2fb8a73d4d3a5d2.png
1621805-6b1a854310babd65.png

3.4 多個例子中的向量化

1621805-8d615a70c671cb81.png

3.5 向量化實現的解釋

1621805-936c93492f5ef66d.png
1621805-bf9eef82f776b4ea.png

3.6 啟用函式

1621805-5ab5e7b50a921383.png

更多可以參閱《神經網路-啟用函式對比》

3.7 為什麼需要非線性啟用函式？

如果沒有非線性啟用函式，那麼神經網路其實就是隻是單個神經元的線性組合：


1621805-099294f7e39d4aa2.png

3.8 啟用函式的導數

sigmoid

1621805-c85d02cdef1d3a47.png

Tanh

1621805-d24f593dbb0fc815.png

ReLU

1621805-f23f190f269f396c.png

3.9 神經網路的梯度下降法

1621805-865b113190a0333c.png
1621805-3a4cfd2ea89a2230.png

更多可見 ： http://blog.csdn.net/u011239443/article/details/76680704#t2

3.10 （選修）直觀理解反向傳播

1621805-35903654038e014f.png

總結

1621805-bec344f8002967eb.png

3.11 隨機初始化

初始化W不能設為0，否則同一層的神經元的改變相同，使得類似於單個神經元：


1621805-3962b3b454c8ea37.png

解決方案，隨機生成絕對值較小的初始值（初始值絕對值太大，會使得S型啟用函式的絕對值趨於0，從而使得訓練緩慢）：


1621805-644fbe22a59e988e.png

1621805-f8a812f5396f1b14
這裡寫圖片描述

相關文章