## 1. 深度學習有哪些應用

- 影像：影像識別、物體識別、圖片美化、圖片修復、目標檢測。
- 自然語言處理：機器創作、個性化推薦、文字分類、翻譯、自動糾錯、情感分析。
- 數值預測、量化交易

## 2. 什麼是神經網路

我們以房價預測的案例來說明一下，把房屋的面積作為神經網路的輸入（我們稱之為?），透過一個節點（一個小圓圈），最終輸出了價格（我們用?表示）。其實這個小圓圈就是一個單獨的神經元，就像人的大腦神經元一樣。如果這是一個單神經元網路，不管規模大小，**它正是透過把這些單個神經元疊加在一起來形成。如果你把這些神經元想象成單獨的樂高積木，你就透過搭積木來完成一個更大的神經網路。**

神經網路與大腦關聯不大。這是一個過度簡化的對比，把一個神經網路的邏輯單元和右邊的生物神經元對比。至今為止其實連神經科學家們都很難解釋，究竟一個神經元能做什麼。

### 2.1 什麼是感知器

這要從邏輯迴歸講起，我們都知道邏輯迴歸的目標函式如下所示：

![](https://latex.codecogs.com/gif.latex?z=\theta_0+\theta_1X_1+\theta_2X_2)

![](http://wx2.sinaimg.cn/mw690/00630Defgy1g5nlym74voj305v01rjr6.jpg)

我們用網路來表示，這個網路就叫做感知器：

![](http://wx1.sinaimg.cn/mw690/00630Defly1g5gzor6zzvj30az08jtaf.jpg)

如果在這個感知器的基礎上加上隱藏層，就會得到下面我們要說的神經網路結構了。

### 2.2 神經網路的結構

神經網路的一般結構是由**輸入層、隱藏層(神經元)、輸出層**構成的。隱藏層可以是1層或者多層疊加，層與層之間是相互連線的，如下圖所示。

![](http://wx4.sinaimg.cn/mw690/00630Defgy1g5gqsvdbxfj30p10con4q.jpg)

**一般說到神經網路的層數是這樣計算的，輸入層不算，從隱藏層開始一直到輸出層，一共有幾層就代表著這是一個幾層的神經網路**，例如上圖就是一個三層結構的神經網路。

**解釋隱藏層的含義：**在一個神經網路中，當你使用監督學習訓練它的時候，訓練集包含了輸入?也包含了目標輸出?，所以術語隱藏層的含義是在訓練集中，這些中間結點的準確值我們是不知道到的，也就是說你看不見它們在訓練集中應具有的值。

- 多隱藏層的神經網路比 單隱藏層的神經網路工程效果好很多。
- 提升隱層層數或者隱層神經元個數，神經網路“容量”會變大，空間表達力會變強。
- 過多的隱層和神經元節點，會帶來過擬合問題。
- 不要試圖透過降低神經網路引數量來減緩過擬合，用正則化或者dropout。

### 2.3 為什麼神經網路具有非線性切分能力

假設對下圖進行分類，圓圈為一類，紅叉叉為另一類，如果用線性切分的話無論如何都不能把它們進行分開。

![](http://wx4.sinaimg.cn/mw690/00630Defly1g5h19dcut2j308s072dfy.jpg)

這時，引入神經網路(2層神經網路)，包含一個隱藏層，在隱藏層中,分別得到了P1和P2的圖形，P1這條線以上的部分都是紅叉叉，P2這條線以下的部分都是紅叉叉，兩個神經元就有2條線性直線。從隱藏層到輸出層要做的事情就是把這兩條直線給合併起來，就會得到h(x)的圖形，也就是說P1以上的空間交上P2以下的空間就是紅叉叉的分類，其餘空間分類為圓圈。這就使得原本不能夠線性切分變成非線性切分了。

![](http://wx1.sinaimg.cn/mw690/00630Defly1g5h1fu2kvjj30px0irtd0.jpg)

如果隱藏層更加複雜的話，就能夠完美的實現複雜平面樣本點分佈的劃分(類似於摳圖)，如下圖所示：

![](http://wx2.sinaimg.cn/mw690/00630Defly1g5h1svz7mij30f40cq795.jpg)

## 3. 神經網路的計算過程

### 3.1 計算過程

如下圖所示。用圓圈表示神經網路的計算單元，邏輯迴歸的計算有兩個步驟，首先你按步驟計算出?，然後在第二
步中你以 sigmoid 函式為啟用函式計算?（得出?），一個神經網路只是這樣子做了好多次重複計算。

![](http://wx1.sinaimg.cn/mw690/00630Defly1g5h3bwknx1j30iy0fh79u.jpg)

其中的一個神經元計算如下圖所示：

![](http://wx4.sinaimg.cn/mw690/00630Defly1g5h35bulb7j30g5068jse.jpg)

**向量化計算**，如果你執行神經網路的程式，用 for 迴圈來做這些看起來真的很低效。所以接下來我們要做的就是把這四個等式向量化。向量化的過程是將神經網路中的一層神經元引數縱向堆積起來，例如隱藏層中的?縱向堆積起來變成一個(4,3)的矩陣，用符號?[1]表示。另一個看待這個的方法是我們有四個邏輯迴歸單元，且每一個邏輯迴歸單元都有相對應的引數——向量?，把這四個向量堆積在一起，你會得出這 4×3 的矩陣。

![](http://wx1.sinaimg.cn/mw690/00630Defly1g5h3eqh76aj30cq06xjro.jpg)

上面公式表示的是一個樣本的向量化計算，那麼**多樣本向量化計算**其實就是在上面公式的基礎上再增列數，每一列相當於一個樣本。

### 3.2 隨機初始化模型引數

在神經⽹絡中，通常需要隨機初始化模型引數。下⾯我們來解釋這樣做的原因。

假設輸出層只保留⼀個輸出單元*o*1（刪去*o*2和*o*3以及指向它們的箭頭），且隱藏層使⽤相同的啟用函式。如果將每個隱藏單元的引數都初始化為相等的值，那麼在正向傳播時每個隱藏單元將根據相同的輸⼊計算出相同的值， 並傳遞⾄輸出層。在反向傳播中，每個隱藏單元的引數梯度值相等。因此，這些引數在使⽤基於梯度的最佳化演算法迭代後值依然相等。之後的迭代也是如此。

在這種情況下，⽆論隱藏單元有多少， 隱藏層本質上只有1個隱藏單元在發揮作⽤。因此，正如在前⾯的實驗中所做的那樣，我們通常將神經⽹絡的模型引數，特別是權重引數，進⾏隨機初始化。

**有兩種初始化方法：**

1. 採用正態分佈的隨機初始化方法。

2. Xavier初始化方法：假設某全連線層的輸入個數為a，輸出個數為b，Xavier隨機初始化將使該層中權重引數的每個元素都隨機取樣於均勻分佈：

![](https://latex.codecogs.com/gif.latex?U[-\sqrt{\frac{6}{a+b}},\sqrt{\frac{6}{a+b}}])

初始化後，**每層輸出的方差不會受該層輸入個數的影響，且每層梯度的方差也不受該層輸出個數的影響。**

### 3.3 啟用函式

#### 3.3.1 啟用函式有哪些

在隱層接一個線性變換後 ，再接一個非線性變換(如sigmoid)，這個非線性變換叫做**傳遞函式或者啟用函式**。上面的例子用的都是邏輯迴歸的Sigmoid啟用函式，如果還不明白啟用函式在哪，可以看下面這幅圖。

![](http://wx3.sinaimg.cn/mw690/00630Defly1g5h3pqzw0sj30g5068wfi.jpg)

1. **sigmoid函式**

![image](https://ws2.sinaimg.cn/large/00630Defly1g2x34jlnrrj306g0590st.jpg)

![](https://latex.codecogs.com/gif.latex?a=g(z)=\frac{1}{1+e^{-z}})

![](https://latex.codecogs.com/gif.latex?g(z)^{'}=\frac{d}{dz}g(z)=\alpha(1-\alpha))

2. **tanh(雙曲正切)函式**

事實上，**tanh** 函式是 **sigmoid** 的向下平移和伸縮後的結果。對它進行了變形後，穿過了(0,0)點，並且值域介於+1 和-1 之間。但有一個例外：在二分類的問題中，對於輸出層，因為?的值是 0 或 1，所以想讓?^的數值介於0和1之間，而不是在-1和+1之間。所以需要使用**sigmoid**啟用函式。

![image](https://ws3.sinaimg.cn/large/00630Defly1g2x355gdkij306k04q0sr.jpg)

![](http://wx1.sinaimg.cn/mw690/00630Defgy1g5nm3dsq7aj30ad02zq2y.jpg)

**sigmoid**函式和**tanh**函式兩者共同的缺點是，在?特別大或者特別小的情況下，導數的梯度或者函式的斜率會變得特別小，最後就會接近於 0，導致降低梯度下降的速度。

3. **ReLu(修正線性單元)函式**

只要?是正值的情況下，導數恆等於 1，當?是負 值的時候，導數恆等於 0。

![image](https://wx4.sinaimg.cn/large/00630Defly1g2x3f01a0gj306d04xmx7.jpg)

![](https://latex.codecogs.com/gif.latex?a=max(0,z))

![](http://wx3.sinaimg.cn/mw690/00630Defgy1g5nm5d67dbj30ar03h3yi.jpg)
   
   這有一些選擇啟用函式的經驗法則： 如果輸出是 0、1 值（二分類問題），則輸出層選擇 **sigmoid** 函式，然後其它的所有單 元都選擇 **Relu** 函式。 
   
4. **softmax啟用函式**

- 非線性變換之前計算：![](https://latex.codecogs.com/gif.latex?z^{(l)}=W^{(l)}a^{(l-1)}+b^{(l)})
   - 經過非線性變換，臨時變數：![](https://latex.codecogs.com/gif.latex?t=e^{z^{(l)}})
   - ![](https://latex.codecogs.com/gif.latex?a^{l}=\frac{t_i}{\sum_{j=1}^{n}t_i})歸一化
   - $a^l$表示的就是第幾個類別的機率值，這些**機率值和為1**

之前，我們的啟用函式都是接受單行數值輸入，例如 **Sigmoid** 和 **ReLu** 啟用函式，輸入一個實數，輸出一個實數。**Softmax** 啟用函式的特殊之處在於，因為需要將所有可能的輸出歸一化，就需要輸入一個向量，最後輸出一個向量。

**hardmax** 函式會觀察?的元素，然後在?中最大元素的位置放上 1，其它位置放上 0，**Softmax** 所做的從?到這些機率的對映更為溫和。

**Softmax** 迴歸將 **logistic** 迴歸推廣到了兩種分類以上。

#### 3.3.2 優缺點

- 在?的區間變動很大的情況下，啟用函式的導數或者啟用函式的斜率都會遠大於0，在程式實現就是一個 **if-else** 語句，而 **sigmoid** 函式需要進行浮點四則運算，在實踐中，使用 **ReLu** 啟用函式神經網路通常會比使用 **sigmoid** 或者 **tanh** 啟用函式學習的更快。
- **sigmoid** 和 **tanh** 函式的導數在正負飽和區的梯度都會接近於 0，這會造成梯度彌散，而 **Relu** 和 **Leaky ReLu** 函式大於 0 部分都為常數，不會產生梯度彌散現象。(同時應該注意到的是，**Relu** 進入負半區的時候，梯度為 0，神經元此時不會訓練，產生所謂的稀疏性，而 **Leaky ReLu** 不會有這問題) ?在 **ReLu** 的梯度一半都是 0，但是，有足夠的隱藏層使得 z 值大於 0，所以對大多數的 訓練資料來說學習過程仍然可以很快。

#### 3.3.3 為什麼使用啟用函式

如果你使用線性啟用函式或者沒有使用一個啟用函式，那麼無論你的神經網路有多少層一直在做的只是計算線性函式，所以不如直接去掉全部隱藏層。在我們的簡明案例中，事實證明如果你在隱藏層用線性啟用函式，在輸出層用 **sigmoid** 函式，那麼這個模型的複雜度和沒有任何隱藏層。的標準 **Logistic** 迴歸是一樣的。

在這裡線性隱層一點用也沒有，因為這兩個線性函式的組合本身就是線性函式，所以除非你引入非線性，否則你無法計算更有趣的函式，即使你的網路層數再多也不行。

#### 3.3.4 人工神經網路中為什麼ReLu要好過於tanh和sigmoid function？

1. 採用sigmoid等函式，算啟用函式時（指數運算），計算量大，反向傳播求誤差梯度時，求導涉及除法和指數運算，計算量相對大，而採用Relu啟用函式，整個過程的計算量節省很多。
2. 對於深層網路，sigmoid函式反向傳播時，很容易就會出現梯度消失的情況（在sigmoid接近飽和區時，變換太緩慢，導數趨於0，這種情況會造成資訊丟失），這種現象稱為飽和，從而無法完成深層網路的訓練。而ReLU就不會有飽和傾向，不會有特別小的梯度出現。
3. Relu會使一部分神經元的輸出為0，這樣就造成了網路的稀疏性，並且減少了引數的相互依存關係，緩解了過擬合問題的發生（以及一些人的生物解釋balabala）。當然現在也有一些對relu的改進，比如prelu，random relu等，在不同的資料集上會有一些訓練速度上或者準確率上的改進，具體的大家可以找相關的paper看。

#### 3.3.5 啟用函式有哪些性質？

1. 非線性： 當啟用函式是線性的，一個兩層的神經網路就可以基本上逼近所有的函式。但如果啟用函式是恆等啟用函式的時候，即 ![](https://latex.codecogs.com/gif.latex?f(x)=x)，就不滿足這個性質，而且如果 MLP 使用的是恆等啟用函式，那麼其實整個網路跟單層神經網路是等價的；
2. 可微性： 當最佳化方法是基於梯度的時候，就體現了該性質；
3. 單調性： 當啟用函式是單調的時候，單層網路能夠保證是凸函式；
4. ![](http://wx1.sinaimg.cn/mw690/00630Defgy1g5nmaak1f3j302x0120si.jpg)： 當啟用函式滿足這個性質的時候，如果引數的初始化是隨機的較小值，那麼神經網路的訓練將會很高效；如果不滿足這個性質，那麼就需要詳細地去設定初始值；
5. 輸出值的範圍： 當啟用函式輸出值是有限的時候，基於梯度的最佳化方法會更加穩定，因為特徵的表示受有限權值的影響更顯著；當啟用函式的輸出是無限的時候，模型的訓練會更加高效，不過在這種情況小，一般需要更小的 Learning Rate。

### 3.4 正向傳播

正向傳播(forward-propagation)是指對神經網路沿著從輸入層到輸出層的順序，依次計算並儲存模型的中間變數(包括輸出)。

邏輯迴歸的計算步驟：所以回想當時我們討論邏輯迴歸的時候，我們有這個正向傳播步驟，其中我們計算?，然後?，然後損失函式?。 正向傳播類似，計算![](https://latex.codecogs.com/gif.latex?z^{[1]}，a^{[1]})，再計算![](https://latex.codecogs.com/gif.latex?z^{[2]}，a^{[2]})，最後得到**loss function**。

![](http://wx3.sinaimg.cn/mw690/00630Defgy1g5nmdcfqwjj30dp039t8n.jpg)

### 3.5 反向傳播(BP)

反向傳播(back-propagation)指的是計算神經網路引數梯度的方法。總的來說，反向傳播依據微積分中的鏈式法則，沿著從輸出層到輸入層的順序，依次計算並儲存目標函式有關神經網路各層的中間變數以及引數的梯度。

由正向傳播經過所有的隱藏層到達輸出層，會得到一個輸出結果![](https://latex.codecogs.com/gif.latex?O_L)，然後根據這個![](https://latex.codecogs.com/gif.latex?O_L)帶入**loss funcation**中，利用SGD演算法進行最最佳化求解，其中每次梯度下降都會使用一次BP來更新各個網路層中的引數值，這就是BP回傳誤差的意思。

![image](http://wx4.sinaimg.cn/mw690/00630Defgy1g5hmv1p3elj30nw0adacj.jpg)

- 正向傳播求損失，BP回傳誤差。
- 根據誤差訊號修正每層的權重。對各個w進行求導，然後更新各個w。
- **鏈式依賴損失函式**：![](https://latex.codecogs.com/gif.latex?y^{-}=h(g(f(x))))

### 3.6 隨機梯度下降法(SGD)

#### 3.6.1 mini-batch梯度下降

你可以把訓練集分割為小一點的子集訓練，這些子集被取名為 **mini-batch**，假設每一個子集中只有 1000 個樣本，那麼把其中的? (1)到? (1000)取出來，將其稱為第一個子訓練集，也叫做 **mini-batch**，然後你再取出接下來的 1000 個樣本，從? (1001)到? (2000)，然後再取 1000個樣本，以此類推。

在訓練集上執行 **mini-batch** 梯度下降法，你執行 for t=1……5000，因為我們有5000個各有 1000 個樣本的組，在 **for** 迴圈裡你要做得基本就是對? {?}和? {?}執行一步梯度下降法。

- batch_size=1，就是SGD。
- batch_size=n，就是mini-batch
- batch_size=m，就是batch

其中1<n batch="" sgd="" mini-batch="" batch_size="" epoch="" caffe="" pytorch="" mxnet="" cntk="" theano="" tensorflow="" keras="" fastai=""></n>2.支援多種程式語言。 3.擁有強大的計算叢集。 4.谷歌支援 5.社群活躍度高。 6.支援多GPU。 7.TensorBoard支援圖形視覺化。 | 1.程式設計入門難度較大。 2.計算圖是純 Python 的，因此速度較慢 3.圖構造是靜態的，意味著圖必須先被「編譯」再執行 |
| Keras | 1.Keras是TensorFlow高階整合APi 2.Keras是一個簡潔的API。 可以快速幫助您建立應用程式。 3.程式碼更加可讀和簡潔。 4.Keras處於高度整合框架。 5.社群活躍。 | 1.Keras框架環境配置比其他底層框架要複雜一些。 2.雖然更容易建立模型，但是面對複雜的網路結構時可能不如TensorFlow。 3.效能方面比較欠缺。 |
| Pytorch | 1.它可以在流程中更改體系結構。 2.訓練神經網路的過程簡單明瞭。 3.可以使用標準 Python 語法編寫 for 迴圈語句。 4.大量預訓練模型 | 1.不夠TensorFlow全面，不過未來會彌補。 2.PyTorch部署移動端不是很好。 |
| MXNet | 1.支援多語言。 2.文件齊全。 3.支援多個GPU。 4.清晰且易於維護的程式碼。 5.命令式和符號式程式設計風格之間進行選擇。 | 1.不被廣泛使用。 2.社群不夠活躍。 3.學習難度大一些。 |

目前從招聘來說，公司使用TensorFlow的佔大多數，畢竟TensorFlow的社群、效能、部署方面都是很強的，所以之後寫的例項程式碼都使用TensorFlow來完成。

## 6. softmax分類器

### 6.1 什麼是softmax

在影像分類的情景中，softmax分類器輸出可以是一個影像類別的離散值，和線性迴歸不同的是，**softmax輸出單元從一個變成了多個。**

softmax迴歸和線性迴歸一樣將輸入特徵與權重做線性疊加。與線性迴歸的一個主要不同在於，**softmax迴歸的輸出值個數等於標籤裡的類別數。**下圖是用神經網路描繪了softmax迴歸，也是一個單層神經網路，由於每個輸出  ![](https://latex.codecogs.com/gif.latex?o_1,o_2,o_3)的計算都要依賴於所有的輸入 ![](https://latex.codecogs.com/gif.latex?x_1,x_2,x_3,x_4)，softmax迴歸的輸出層也是一個全連線層。

![](http://wx4.sinaimg.cn/mw690/00630Defly1g5lpopm1c3j30h906574z.jpg)

![](https://latex.codecogs.com/gif.latex?o_1=x_1w_{11}+x_2w_{21}+x_3w_{31}+x_4w_{41})

![](https://latex.codecogs.com/gif.latex?o_2=x_1w_{12}+x_2w_{22}+x_3w_{32}+x_4w_{42})

![](https://latex.codecogs.com/gif.latex?o_3=x_1w_{13}+x_2w_{23}+x_3w_{33}+x_4w_{43})

![](https://latex.codecogs.com/gif.latex?o_4=x_1w_{14}+x_2w_{24}+x_3w_{34}+x_4w_{44})

### 6.2 softmax的計算

一個簡單的辦法是將輸出值  ![](https://latex.codecogs.com/gif.latex?o_i)當做預測類別是i的置信度，並將值最大的輸出所對應的類別作為預測輸出。例如，如果  ![](https://latex.codecogs.com/gif.latex?o_1,o_2,o_3)分別為0.1 ; 10 ; 0.1，由於 ![](https://latex.codecogs.com/gif.latex?o_2)最大，那麼預測類別為2。

然而，直接使用輸出層的輸出會有兩個問題：

- 由於輸出層的輸出值的範圍不確定，我們難以直觀上判斷這些值得意義。
- 由於真實標籤是離散值，這些離散值與不確定範圍的輸出值之間的誤差難以衡量。

softmax運算解決了以上兩個問題。它透過下面的公式將輸出值變換成值為正且和為1的機率分佈：

![](https://latex.codecogs.com/gif.latex?softmax(o_i)=\frac{exp(o_i)}{\sum_{i=1}^{n}exp(o_i)})

### 6.3 交叉熵損失函式

我們已經知道，softmax運算將輸出變換成一個合法的類別預測分佈。實際上，真實標籤也可以用類別分佈表達：

對於樣本i，我們構造向量 ![](https://latex.codecogs.com/gif.latex?y^{(i)}\in_{}R^q)，使其第  ![](https://latex.codecogs.com/gif.latex?y^{(i)})個元素為1，其餘為0。這樣我們的訓練目標可以設為使預測機率分佈 ![](https://latex.codecogs.com/gif.latex?\hat{y}^{(i)})儘可能接近真實的標籤機率 ![](https://latex.codecogs.com/gif.latex?y^{(i)})。

想要預測分類結果正確，**我們其實並不需要預測機率完全等於標籤機率**，而平方損失則過於嚴格。改善這個問題的一個方法是使用更適合衡量兩個機率分佈差異的測量函式。其中，**交叉熵(cross entropy)是一個常用的衡量方法：**

![](http://wx3.sinaimg.cn/mw690/00630Defgy1g5nmm3jzapj30e201o749.jpg)

其中帶下標的 ![](https://latex.codecogs.com/gif.latex?y_j^{(i)})是向量 ![](https://latex.codecogs.com/gif.latex?y^{(i)})中非 0 即 1 的元素。也就是說，**交叉熵只關心對正確類別的預測機率**，因為只要其值足夠大，就可以確保分類結果正確。**即最小化交叉熵損失函式等價於最大化訓練資料集所有標籤類別的聯合預測機率。**

## 7. 神經網路實現

[TensorFlow示例：線性迴歸](https://github.com/NLP-LOVE/ML-NLP/blob/master/Deep%20Learning/10.%20Neural%20Network/TensorFlow_LR.ipynb)

【[機器學習通俗易懂系列文章](https://github.com/NLP-LOVE/ML-NLP)】

![3.png](https://img-blog.csdnimg.cn/20190802102238788.png)

------

> 作者：[@mantchs](https://github.com/NLP-LOVE/ML-NLP)
>
> GitHub：[https://github.com/NLP-LOVE/ML-NLP](https://github.com/NLP-LOVE/ML-NLP)
>
> 歡迎大家加入討論！共同完善此專案！群號：【541954936】<a target="_blank" href="http://shang.qq.com/wpa/qunwpa?idkey=863f915b9178560bd32ca07cd090a7d9e6f5f90fcff5667489697b1621cecdb3" rel="nofollow"><img border="0" src="http://pub.idqqimg.com/wpa/images/group.png" alt="NLP面試學習群" title="NLP面試學習群" width="640" height="360"></a>

啟用函式、正向傳播、反向傳播及softmax分類器，一篇就夠了！

相關文章