第48周學習總結——神經網路

主要學習內容是吳恩達的深度學習

吳恩達的深度學習

神經元

什麼是神經元？它就是一個wx+b，然後後面跟一個啟用函式。

神經網路

就是由多個神經元組成的一個網路結構。

前向傳播

通過輸入值x，從左向右計算，然後經過一層或多層神經網路，最終計算出一個預測值，這就是前向傳播。

後向傳播

通過損失函式，從右向左，計算出各層w和b的梯度值，然後經過梯度下降，將各層的w和b更新，這整個過程就是後向傳播。

logistic迴歸

就是先進行前向傳播，然後計算出一個預測值，將這預測值與實際值進行比較，從而計算出一個損失，然後通過這個損失計算出各層w和b的梯度值，從而使用梯度下降進行後向傳播。然後，不停的迴圈，進行訓練。這整個過程就是logistic迴歸。

淺神經網路

它其實整個流程和logistic迴歸是一樣的，只是它有一層隱藏層，它也稱作淺神經網路。

深度神經網路

它相比於前神經網路，只是它至少有兩層隱藏層。

啟用函式

常用的啟用函式有sigmod、tanh、relu和relu leak，其中relu和relu leak比前兩者好，因為前面兩個當達到極大值或極小值時，梯度就很小了，梯度下降也會很慢，訓練速度會很緩慢。

權重值為什麼不能初始化為0？

這是因為當w都初始化為0後，它們相同層的神經元計算起來就對稱了，當一次後向傳播之後，由於梯度值也一樣，所以相同層之間的w還是一樣的，這樣相當於一層只有一個神經元一樣。

總結與計劃

• 總結： 做了第二週和第三週的練習，聽了第三週課程，感覺很不錯，弄懂了神經網路的整個計算過程。
• 計劃：繼續學習深度學習，爭取今年把這門課程趕上最新進度。