Machine Learning:神經網路簡介

神經網路（neural network，NN）是生物科學和資訊科學交叉的產物。生物學家研究人腦神經的工作過程，發現神經元（神經細胞）和神經元之間通過突起(軸突和樹突)的相連，神經細胞感受到刺激之後產生興奮並通過細胞突起將興奮傳導給與之有連線的神經元。神經元的連線大多是相鄰層間的連線，神經細胞總體上呈現分層結構，感受器中的神經接收外界刺激，神經中樞的神經元決定人腦的意識。如圖為一個神經細胞的結構：

一個神經元和其它神經元的連線如下圖所示：

        一個神經元通常和若干個神經元相連，連線有強有弱，不同的連線就像電子元件之間阻值不同的帶阻導體。一個非輸入神經元在興奮傳導過程中受到的刺激總和為與之相連的神經元傳遞來的興奮之和。我們用Y表示一個神經元受到的興奮之和，興奮來自於n個與之相連的前層神經元，那麼Y可以通過公式1來計算。在公式1中，x0=1，它並不是一個真實的興奮輸入，只是為了統一表示而虛擬出來的一個節點，w0反映神經元基礎興奮度。一個神經元與n個前層神經元相連，xi是n個前層神經元傳來的興奮值，wi 是其與前層n個神經元的連線緊密程度。

（公式1）

一個神經元受到總量為Y的刺激之後會在細胞內部轉化一下，得到一個興奮輸出y，該輸出將傳導給與之相連的後層神經元。我們假設y與Y滿足公式2（對應整形函式，可以有多種定義）。Sigmoid函式是一個S形函式，下圖為sigmoid函式的影象。Sigmoid函式在定義域單調遞增，當Y取0時，y=0.5；當Y趨向正無窮時，y=1；當Y趨向負無窮時，y=0。

（公式2 sigmoid函式）

（sigmoid function）