乾貨！這裡有一份神經網路入門指導，請收下！

AI科技大本營發表於2019-03-04

神經網路

翻譯 | 林椿眄

編輯 | Donna

本週，我們為您準備了一份資料科學家Ben Gorman撰寫的神經網路指導。這份指導包含了他具體的學習思路，包括所遇到的難點以及多種詳細的解決方法。

文章不短，但是值得深讀，請收藏！

人工神經網路當下非常流行。與任何流行的事物一樣，人工神經網路也收到了不少質疑。它究竟是賣弄玄虛，還是真正可以使無數人獲益的新技術呢？

為了讓大家入門神經網路，我從一個並不太瞭解的專業資料科學家的角度，和大家分享我的學習過程，希望對你們有所幫助。

需要注意的是，本文中所涉及的示例都是用R語言寫的程式碼。

讓我們從一個動機問題開始思考。這裡是一個灰度圖片的集合，每個2×2的畫素網格的畫素取值都是在0(白)到255(黑)之間。我們的目標是構建一個模型，用“階梯”的模式來識別圖片。

在這裡，我們來探討如何找到一個能夠合理擬合資料的模型感興趣。

方法一：預處理

對每張圖片，我們標記畫素X1,X2,X3,X4 , 並生成一個輸入向量X=[X1 X2 X3 X4]，作為我們模型的輸入值。我們希望我們的模型能夠預測“True”(影像具有階梯模式)或為“False”(影像不具有階梯模式)。

方法二：單層感知器(模型迭代0次)

單層感知器是我們可以構建的一個簡單模型。當一個感知器使用線性權重組合的輸入時，可以得到一個預測值。如果預測的數值超過所選用的閾值，感知器則會判定為“True”，否則判定為“False”。更具體的說，

我們可以將它重新表示為如下形式：

這裡表示預測值。

圖形上，我們可以將感知器表示為一個由輸入到輸出的節點。

例如，我們假定構建如下的感知器：

這裡可以看到感知器是如何在我們的訓練影像上執行的。

這是合理的結果，肯定優於隨機猜測的效果。所有的階梯模式在其底部都有帶有深色陰影的畫素，能支援X3和X4採用更大的正係數。儘管如此，這個模型還是存在一些明顯的問題。

該模型輸出一個實數，它的值與自然的概念相關(值越大隱含著有更大的可能性說明影像表現為階梯模式)，但是將這些值解釋為概率值是沒有依據的，特別當它們的取值範圍在[0,1]之外。
該模型無法捕捉到變數之間非線性的關係。

為了解這個問題，可以考慮以下的假設情況：

情況A：從一張影像開始，x = [100, 0, 0, 125]，從0增至60.

情況B：從最後一張影像開始，x = [100, 0, 60, 125]，從60增至120.

直觀上，相對於情況B來說，情況A的應該會有更大的增幅。然而，由於我們感知器模型只是一個線性等式，對於這兩種情況，X3增加了60，而只增加了0.12。

同時，我們的線性感知器還會有更多的問題，但是我們先來解決這兩個問題。

問題一：以Sigmoid為啟用函式的單層感知器(模型迭代1次)：

我們可以通過將我們的感知器包在Sigmoid函式裡面(隨後選擇不同的權重值)來解決上述的問題1和2。回顧下Sigmoid函式是一條垂直方向上界定在0到1之間的S型曲線，因此經常被用來模擬二元事件發生的概率。

順著這個思路，我們用下面的圖片和方程式來更新我們的模型。

這就是Logistic迴歸。然而，將這個模型解釋為以Sigmoid為啟用函式的線性感知器也是很好的，因為這給了我們更多的空間去泛化。此外，由於我們將解釋為概率值，所以我們必須相應地更新我們的決策規則。

問題二：假定我們提出以下的擬合模型：

對比先前的部分，可以看出這個模型在相同的影像上是如何起作用的。

解決方法：

情況A：從一張影像開始，x = [100, 0, 0, 125]，從0增至60.

情況B：從最後一張影像開始，x = [100, 0, 60, 125]，從60增至120.

請注意，隨著的增加，Sigmoid函式是如何引起情況A的“觸發”現象(快速增加)，但隨著z的持續增加，速度會減慢。這與我們的直覺是相一致的，即對於出現階梯的可能性，情況A應該反映出比情況B更大的增長。

不幸的是，這個模型仍然存在問題：

與每個變數都有單調的關係。如果我們想識別輕微的陰影階梯，那該怎麼辦？
該模型不考慮變數的互動問題。假設影像的底部是黑色的，如果左上角的畫素是白色，則右上角的畫素變暗會增加階梯出現的可能性。如果左上角的畫素是黑色的，則右上角的畫素變暗會降低階梯出現的可能性。換句話說，就是根據其他變數的值，增加X3應該可能增加或減少的值。目前我們的模型還無法實現這一點。

問題三：以Sigmoid為啟用函式的單層感知器(模型迭代2次)：

我們可以通過在我們感知器模型上額外增加一個層來解決上述的兩個問題。我們將以上面的模型為基礎構建一系列基本模型，然後將每個基本模型的輸出作為輸入提供給另一個感知器。這個模型實際上就是一個 “香草型”的神經網路。讓我們通過一些例子看看它是如何工作。

例子1：識別階梯模式

構建一個模型，當左階梯模式被識別時觸發，
構建一個模型，當右階梯模式被識別時觸發，
增大每個基礎模型的得分，以便最後的S型函式只有在和都很大時才會被觸發。

或者

構建一個模型，當底部為暗色時才觸發，
構建一個模型，當左上角畫素為暗色且右上角畫素為亮色時才觸發，
構建一個模型，當左上角畫素為亮色且右上角畫素為暗色時才觸發，
增大基礎模型以便最後的sigmoid函式只有在和都很大，或者和都很大時才觸發(請注意和無法同時有很大的值)。

例子2：識別帶輕微陰影的階梯

構建一個模型，當底部為陰影，陰影x1和白色x2，陰影x2和白色x1時才被觸發，，和
構建一個模型，當底部為暗色，暗色x1和白色x2，暗色x2和白色x1時才被觸發，，和
將模型組合起來以便在使用sigmoid函式壓縮之前， “暗色”的識別符號能夠基本上從 “陰影”識別符號中除去。

專業術語註釋

單層感知器具有單個的輸出層。因此，我們剛剛構建的模型將被稱為雙層感知器，因為模型的一個輸出層，是另一個輸出層的輸入。然而，我們可以將這些模型稱為神經網路，就這方面而言，網路有三層–輸入層，隱藏層和輸出層。

可替代的啟用函式

在我們的例子中，我們使用了一個sigmoid作為啟用函式。但是，我們可以使用其他的啟用函式。雙曲正切函式、修正線性單元都是常用的選擇。啟用函式必須是非線性的，否則神經網路將等價於單層的感知器。

多目標分類

通過在最終輸出層中使用多個節點，我們可以輕鬆地將我們的模型擴充套件成多分類模型。這裡用到的想法是，每個輸出對應於我們想要預測的類別之一C，我們可以使用Softmax函式將空間中的一個向量對映到中的另一個向量，如此使得向量的元素之和為1，而不是通過sigmoid函式對映空間的一個輸出元素並將其壓縮在[0,1]之間輸出。換句話說，我們可以設計一個網路使得它的輸出向量是如此的形式：。