【菜鳥筆記|機器學習】神經網路

今天學習的神經網路模型，和大腦的神經元很相似，可以說是深度學習的基礎了。神經網路最基礎的模型是感知機，由感知機發展為神經網路。求解神經網路中權重的演算法是誤差逆傳播演算法（BP）。

1.感知機

感知機由兩層神經元組成，一個輸入層，一個輸出層。輸出層經過一個啟用函式（sigmoid函式）處理後可以得到我們想要的分類結果。感知機輸入輸出的關係可以表示為：

權重ω和閾值θ就是我們要學習的引數。權重和閾值可統一為權重的學習。感知機權重的學習就是根據當前感知機的輸出不斷去更新權重的過程：

2.BP演算法

感知機只有輸出層這一層功能神經元，學習能力非常有限，因此需要使用多層功能神經元，這就是我們所說的神經網路。若要訓練神經網路，感知機的學習規則就不夠了，需要更強大的學習演算法—BP演算法。以單隱層神經網路為例，我們需要求四個引數：隱層之前的權重υ和閾值γ、輸出層前的權重ω和閾值θ。先求得網路在訓練集上的均方誤差：

Ek分別對四個引數求偏導，αh代表第h個隱層神經元的輸入，bh代表第h個隱層神經元的輸出，βj代表第j個輸出神經元的輸入，可以得到更新公式：