## 目錄
- [1. 訓練誤差和泛化誤差](#1-訓練誤差和泛化誤差)
- [2. 該如何選擇模型](#2-該如何選擇模型)
  - [2.1 驗證資料集](#21-驗證資料集)
  - [2.2 K 折交叉驗證](#22-k-折交叉驗證)
- [3. ⽋擬合和過擬合](#3-⽋擬合和過擬合)
- [4. 丟棄法(Dropout)](#4-丟棄法dropout)
- [5. 梯度消失/梯度爆炸（Vanishing / Exploding gradients）](#5-梯度消失梯度爆炸vanishing--exploding-gradients)
- [6. 隨機梯度下降法(SGD)](#6-隨機梯度下降法sgd)
  - [6.1 mini-batch梯度下降](#61-mini-batch梯度下降)
  - [6.2 調節 Batch_Size 對訓練效果影響到底如何？](#62-調節-batch_size-對訓練效果影響到底如何)
- [7. 最佳化演算法](#7-最佳化演算法)
  - [7.1 動量法](#71-動量法)
  - [7.2 AdaGrad演算法](#72-adagrad演算法)
  - [7.3 RMSProp演算法](#73-rmsprop演算法)
  - [7.4 AdaDelta演算法](#74-adadelta演算法)
  - [7.5 Adam演算法](#75-adam演算法)
  - [7.6 區域性最優--鞍點問題](#76-區域性最優--鞍點問題)
- [8. 如何解決訓練樣本少的問題](#8-如何解決訓練樣本少的問題)
- [9. 如何提升模型的穩定性？](#9-如何提升模型的穩定性)
- [10. 有哪些改善模型的思路](#10-有哪些改善模型的思路)
- [11. 如何提高深度學習系統的效能](#11-如何提高深度學習系統的效能)
- [12. 參考文獻](#12-參考文獻)

## 1. 訓練誤差和泛化誤差

機器學習模型在訓練資料集和測試資料集上的表現。如果你改變過實驗中的模型結構或者超引數，你也許發現了：當模型在訓練資料集上更準確時，它在測試資料集上卻不⼀定更準確。這是為什麼呢？

因為存在著訓練誤差和泛化誤差：

- **訓練誤差：**模型在訓練資料集上表現出的誤差。
- **泛化誤差：**模型在任意⼀個測試資料樣本上表現出的誤差的期望，並常常透過測試資料集上的誤差來近似。

訓練誤差的期望小於或等於泛化誤差。也就是說，⼀般情況下，由訓練資料集學到的模型引數會使模型在訓練資料集上的表現優於或等於在測試資料集上的表現。**由於⽆法從訓練誤差估計泛化誤差，⼀味地降低訓練誤差並不意味著泛化誤差⼀定會降低。**

**機器學習模型應關注降低泛化誤差。**

## 2. 該如何選擇模型

在機器學習中，通常需要評估若⼲候選模型的表現並從中選擇模型。這⼀過程稱為模型選擇（model selection）。可供選擇的候選模型可以是有著不同超引數的同類模型。以多層感知機為例，我們可以選擇隱藏層的個數，以及每個隱藏層中隱藏單元個數和啟用函式。為了得到有效的模型，我們通常要在模型選擇上下⼀番功夫。

### 2.1 驗證資料集

從嚴格意義上講，測試集只能在所有超引數和模型引數選定後使⽤⼀次。不可以使⽤測試資料選擇模型，如調參。由於⽆法從訓練誤差估計泛化誤差，因此也不應只依賴訓練資料選擇模型。鑑於此，我們可以預留⼀部分在訓練資料集和測試資料集以外的資料來進⾏模型選擇。這部分資料被稱為驗證資料集，簡稱驗證集（validation set）。例如，我們可以從給定的訓練集中隨機選取⼀小部分作為驗證集，而將剩餘部分作為真正的訓練集。

可以透過預留這樣的驗證集來進行模型選擇，判斷驗證集在模型中的表現能力。

### 2.2 K 折交叉驗證

由於驗證資料集不參與模型訓練，當訓練資料不夠⽤時，預留⼤量的驗證資料顯得太奢侈。⼀種改善的⽅法是K折交叉驗證（K-fold cross-validation）。在K折交叉驗證中，我們把原始訓練資料集分割成K個不重合的⼦資料集，然後我們做K次模型訓練和驗證。每⼀次，我們使⽤⼀個⼦資料集驗證模型，並使⽤其他K − 1個⼦資料集來訓練模型。在這K次訓練和驗證中，每次⽤來驗證模型的⼦資料集都不同。最後，我們對這K次訓練誤差和驗證誤差分別求平均。

## 3. ⽋擬合和過擬合

- **欠擬合：**模型⽆法得到較低的訓練誤差。
- **過擬合：**是模型的訓練誤差遠小於它在測試資料集上的誤差。

給定訓練資料集，

- 如果模型的複雜度過低，很容易出現⽋擬合；
- 如果模型複雜度過⾼，很容易出現過擬合。

應對⽋擬合和過擬合的⼀個辦法是針對資料集選擇合適複雜度的模型。

![](https://gitee.com/kkweishe/images/raw/master/ML/2019-8-18_21-7-0.png)

**訓練資料集⼤⼩**

影響⽋擬合和過擬合的另⼀個重要因素是訓練資料集的⼤小。⼀般來說，如果訓練資料集中樣本數過少，特別是⽐模型引數數量（按元素計）更少時，過擬合更容易發⽣。此外，泛化誤差不會隨訓練資料集⾥樣本數量增加而增⼤。因此，在計算資源允許的範圍之內，我們通常希望訓練資料集⼤⼀些，特別是在模型複雜度較⾼時，例如層數較多的深度學習模型。

**正則化**

應對過擬合問題的常⽤⽅法：權重衰減（weight decay），權重衰減等價於L2範數正則化（regularization）。正則化透過為模型損失函式新增懲罰項使學出的模型引數值較小，是應對過擬合的常⽤⼿段。

## 4. 丟棄法(Dropout)

除了上面提到的權重衰減以外，深度學習模型常常使⽤丟棄法（dropout）來應對過擬合問題。丟棄法有⼀些不同的變體。本節中提到的丟棄法特指倒置丟棄法（inverted dropout）。

回憶⼀下，“多層感知機”描述了⼀個單隱藏層的多層感知機。其中輸⼊個數為4，隱藏單元個數為5，且隱藏單元hi（i = 1, . . . , 5）的計算表示式為：

![](https://latex.codecogs.com/gif.latex?h_i=\phi(x_1w_{1i}+x_2w_{2i}+x_3w_{3i}+x_4w_{4i}+b_i))

這⾥ϕ是啟用函式，x1, . . . , x4是輸⼊，隱藏單元i的權重引數為w1i, . . . , w4i，偏差引數為bi。當對該隱藏層使⽤丟棄法時，該層的隱藏單元將有⼀定機率被丟棄掉。設丟棄機率為p，那麼有p的機率hi會被清零，有1 − p的機率hi會除以1 − p做拉伸。丟棄機率是丟棄法的超引數。具體來說，設隨機變數ξi為0和1的機率分別為p和1 − p。使⽤丟棄法時我們計算新的隱藏單元 ![](https://gitee.com/kkweishe/images/raw/master/ML/2019-8-19_10-38-57.png)。

![](https://gitee.com/kkweishe/images/raw/master/ML/2019-8-19_10-42-10.png)

由於E(ξi) = 1 − p，因此：

![](https://gitee.com/kkweishe/images/raw/master/ML/2019-8-19_10-43-31.png)

**即丟棄法不改變其輸⼊的期望值。**讓我們對隱藏層使⽤丟棄法，⼀種可能的結果如下圖所⽰，其中h2和h5被清零。這時輸出值的計算不再依賴h2和h5，在反向傳播時，與這兩個隱藏單元相關的權重的梯度均為0。由於在訓練中隱藏層神經元的丟棄是隨機的，即h1, . . . , h5都有可能被清零，輸出層的計算⽆法過度依賴h1, . . . , h5中的任⼀個，從而在訓練模型時起到正則化的作⽤，並可以⽤來應對過擬合。在測試模型時，我們為了拿到更加確定性的結果，⼀般不使⽤丟棄法。

![](https://gitee.com/kkweishe/images/raw/master/ML/2019-8-18_21-24-40.png)

## 5. 梯度消失/梯度爆炸（Vanishing / Exploding gradients）

訓練神經網路，尤其是深度神經所面臨的一個問題就是梯度消失或梯度爆炸，也就是你訓練神經網路的時候，導數或坡度有時會變得非常大，或者非常小，甚至於以指數方式變小，這加大了訓練的難度。

本質上，梯度消失和爆炸是一種情況。在深層網路中，由於網路過深，如果初始得到的梯度過小，或者傳播途中在某一層上過小，則在之後的層上得到的梯度會越來越小，即產生了梯度消失。梯度爆炸也是同樣的。一般地，不合理的初始化以及啟用函式，如sigmoid等，都會導致梯度過大或者過小，從而引起消失/爆炸。

**解決方案**

1. **預訓練加微調**

其基本思想是每次訓練一層隱節點，訓練時將上一層隱節點的輸出作為輸入，而本層隱節點的輸出作為下一層隱節點的輸入，此過程就是逐層“預訓練”（pre-training）；在預訓練完成後，再對整個網路進行“微調”（fine-tunning）。

此方法有一定的好處，但是目前應用的不是很多了。

2. **梯度剪下、正則**

梯度剪下這個方案主要是針對梯度爆炸提出的，其思想是設定一個梯度剪下閾值，然後更新梯度的時候，如果梯度超過這個閾值，那麼就將其強制限制在這個範圍之內。這可以防止梯度爆炸。

另外一種解決梯度爆炸的手段是採用權重正則化（weithts regularization）比較常見的是L1和L2正則。

3. **ReLu、leakReLu等啟用函式**

ReLu：其函式的導數在正數部分是恆等於1，這樣在深層網路中，在啟用函式部分就不存在導致梯度過大或者過小的問題，緩解了梯度消失或者爆炸。同時也方便計算。當然，其也存在存在一些缺點，例如過濾到了負數部分，導致部分資訊的丟失，輸出的資料分佈不在以0為中心，改變了資料分佈。

leakrelu：就是為了解決relu的0區間帶來的影響，其數學表達為：leakrelu=max(k*x,0)其中k是leak係數，一般選擇0.01或者0.02，或者透過學習而來。

4. **Batch Normalization**

Batch Normalization是深度學習發展以來提出的最重要的成果之一了，目前已經被廣泛的應用到了各大網路中，具有加速網路收斂速度，提升訓練穩定性的效果，Batch Normalization本質上是解決反向傳播過程中的梯度問題。Batch Normalization，簡稱BN，即批規範化，透過規範化操作將輸出訊號x規範化到均值為0，方差為1保證網路的穩定性。

- 有一些從 0 到 1 而不是從 1 到 1000 的特徵值，透過歸一化所有的輸入特徵值?，以獲得類似範圍的值，可以加速學習。所以 Batch 歸一化起的作用的原因，直觀的一點就是，它在做類似的工作，但不僅僅對於這裡的輸入值，還有隱藏單元的值。
   - 它可以使權重比你的網路更滯後或更深層，比如，第 10 層的權重更能經受得住變化。

5. **殘差結構**

殘差的方式，能使得深層的網路梯度透過跳級連線路徑直接返回到淺層部分，使得網路無論多深都能將梯度進行有效的回傳。

6. **LSTM**

LSTM全稱是長短期記憶網路（long-short term memory networks），是不那麼容易發生梯度消失的，主要原因在於LSTM內部複雜的“門”(gates)。在計算時，將過程中的梯度進行了抵消。

## 6. 隨機梯度下降法(SGD)

### 6.1 mini-batch梯度下降

你可以把訓練集分割為小一點的子集訓練，這些子集被取名為 **mini-batch**，假設每一個子集中只有 1000 個樣本，那麼把其中的? (1)到? (1000)取出來，將其稱為第一個子訓練集，也叫做 **mini-batch**，然後你再取出接下來的 1000 個樣本，從? (1001)到? (2000)，然後再取 1000個樣本，以此類推。

在訓練集上執行 **mini-batch** 梯度下降法，你執行 for t=1……5000，因為我們有5000個各有 1000 個樣本的組，在 **for** 迴圈裡你要做得基本就是對? {?}和? {?}執行一步梯度下降法。

- batch_size=1，就是SGD。
- batch_size=n，就是mini-batch
- batch_size=m，就是batch

其中1<n batch="" sgd="" mini-batch="" batch_size="" epoch="" x2=""> 0，動量法對每次迭代的步驟做如下修改：

![](https://gitee.com/kkweishe/images/raw/master/ML/2019-8-19_10-46-51.png)

其中，動量超引數γ滿⾜0 ≤ γ < 1。當γ = 0時，動量法等價於小批次隨機梯度下降。在梯度下降時候使用動量法後的迭代軌跡：

![](https://gitee.com/kkweishe/images/raw/master/ML/2019-8-18_22-34-20.png)

可以看到使⽤較小的學習率η = 0.4和動量超引數γ = 0.5時，動量法在豎直⽅向上的移動更加平滑，且在⽔平⽅向上更快逼近最優解。

所以，在動量法中，⾃變數在各個⽅向上的移動幅度不僅取決當前梯度，還取決於過去的各個梯度在各個⽅向上是否⼀致。在本節之前⽰例的最佳化問題中，所有梯度在⽔平⽅向上為正（向右），而在豎直⽅向上時正（向上）時負（向下）。這樣，我們就可以使⽤較⼤的學習率，從而使⾃變數向最優解更快移動。

### 7.2 AdaGrad演算法

最佳化演算法中，⽬標函式⾃變數的每⼀個元素在相同時間步都使⽤同⼀個學習率來⾃我迭代。在“動量法”⾥我們看到當x1和x2的梯度值有較⼤差別時，需要選擇⾜夠小的學習率使得⾃變數在梯度值較⼤的維度上不發散。但這樣會導致⾃變數在梯度值較小的維度上迭代過慢。動量法依賴指數加權移動平均使得⾃變數的更新⽅向更加⼀致，從而降低發散的可能。**本節我們介紹AdaGrad演算法，它根據⾃變數在每個維度的梯度值的⼤小來調整各個維度上的學習率，從而避免統⼀的學習率難以適應所有維度的問題。**

AdaGrad演算法會使⽤⼀個小批次隨機梯度gt按元素平⽅的累加變數st。在時間步0，AdaGrad將s0中每個元素初始化為0。在時間步t，⾸先將小批次隨機梯度gt按元素平⽅後累加到變數st：

![](https://gitee.com/kkweishe/images/raw/master/ML/2019-8-19_10-49-20.png)

其中⊙是按元素相乘。接著，我們將⽬標函式⾃變數中每個元素的學習率透過按元素運算重新調整⼀下：

![](https://gitee.com/kkweishe/images/raw/master/ML/2019-8-19_10-50-24.png)

其中η是學習率，ϵ是為了維持數值穩定性而新增的常數，如10的-6次方。這⾥開⽅、除法和乘法的運算都是按元素運算的。這些按元素運算使得⽬標函式⾃變數中每個元素都分別擁有⾃⼰的學習率。

需要強調的是，小批次隨機梯度按元素平⽅的累加變數st出現在學習率的分⺟項中。因此，

- 如果⽬標函式有關⾃變數中某個元素的偏導數⼀直都較⼤，那麼該元素的學習率將下降較快；
- 反之，如果⽬標函式有關⾃變數中某個元素的偏導數⼀直都較小，那麼該元素的學習率將下降較慢。

然而，由於st⼀直在累加按元素平⽅的梯度，⾃變數中每個元素的學習率在迭代過程中⼀直在降低（或不變）。**所以，當學習率在迭代早期降得較快且當前解依然不佳時，AdaGrad演算法在迭代後期由於學習率過小，可能較難找到⼀個有⽤的解。**

![](https://gitee.com/kkweishe/images/raw/master/ML/2019-8-18_22-48-46.png)

### 7.3 RMSProp演算法

當學習率在迭代早期降得較快且當前解依然不佳時，AdaGrad演算法在迭代後期由於學習率過小，可能較難找到⼀個有⽤的解。為了解決這⼀問題，RMSProp演算法對AdaGrad演算法做了⼀點小小的修改。

不同於AdaGrad演算法⾥狀態變數st是截⾄時間步t所有小批次隨機梯度gt按元素平⽅和，RMSProp演算法將這些梯度按元素平⽅做指數加權移動平均。具體來說，給定超引數0 ≤ γ < 1，RMSProp演算法在時間步t > 0計算：

![](https://gitee.com/kkweishe/images/raw/master/ML/2019-8-19_10-51-9.png)

和AdaGrad演算法⼀樣，RMSProp演算法將⽬標函式⾃變數中每個元素的學習率透過按元素運算重新調整，然後更新⾃變數：

![](https://gitee.com/kkweishe/images/raw/master/ML/2019-8-19_10-52-3.png)

其中η是學習率，ϵ是為了維持數值穩定性而新增的常數，如10的-6次方。因為RMSProp演算法的狀態變數st是對平⽅項gt ⊙ gt的指數加權移動平均，**所以可以看作是最近1/(1 − γ)個時間步的小批次隨機梯度平⽅項的加權平均。如此⼀來，⾃變數每個元素的學習率在迭代過程中就不再⼀直降低（或不變）。**

![](https://gitee.com/kkweishe/images/raw/master/ML/2019-8-18_22-57-39.png)

### 7.4 AdaDelta演算法

除了RMSProp演算法以外，另⼀個常⽤最佳化演算法AdaDelta演算法也針對AdaGrad演算法在迭代後期可能較難找到有⽤解的問題做了改進。有意思的是，AdaDelta演算法沒有學習率這⼀超引數。

AdaDelta演算法也像RMSProp演算法⼀樣，使⽤了小批次隨機梯度gt按元素平⽅的指數加權移動平均變數st。在時間步0，它的所有元素被初始化為0。給定超引數0 ≤ ρ < 1（對應RMSProp演算法中的γ），在時間步t > 0，同RMSProp演算法⼀樣計算：

![](https://gitee.com/kkweishe/images/raw/master/ML/2019-8-19_10-52-53.png)

與RMSProp演算法不同的是，AdaDelta演算法還維護⼀個額外的狀態變數∆xt，其元素同樣在時間步0時被初始化為0。我們使⽤∆xt−1來計算⾃變數的變化量：

![](https://gitee.com/kkweishe/images/raw/master/ML/2019-8-19_10-53-39.png)

最後，我們使⽤∆xt來記錄⾃變數變化量 ![](https://gitee.com/kkweishe/images/raw/master/ML/2019-8-19_10-56-36.png)按元素平⽅的指數加權移動平均：

![](https://gitee.com/kkweishe/images/raw/master/ML/2019-8-19_10-57-14.png)

可以看到，如不考慮ϵ的影響，AdaDelta演算法與RMSProp演算法的不同之處在於使⽤ ![](https://gitee.com/kkweishe/images/raw/master/ML/2019-8-19_10-58-43.png)來替代超引數η。

### 7.5 Adam演算法

Adam演算法在RMSProp演算法基礎上對小批次隨機梯度也做了指數加權移動平均。

Adam演算法使⽤了動量變數vt和RMSProp演算法中小批次隨機梯度按元素平⽅的指數加權移動平均變數st，並在時間步0將它們中每個元素初始化為0。給定超引數0 ≤ β1 < 1（演算法作者建議設為0.9），時間步t的動量變數vt即小批次隨機梯度gt的指數加權移動平均：

![](https://latex.codecogs.com/gif.latex?v_t=\beta_1v_{t-1}+(1-\beta_1)g_t)

和RMSProp演算法中⼀樣，給定超引數0 ≤ β2 < 1（演算法作者建議設為0.999），將小批次隨機梯度按元素平⽅後的項gt ⊙ gt做指數加權移動平均得到st：

![](https://gitee.com/kkweishe/images/raw/master/ML/2019-8-19_10-59-43.png)

由於我們將 v0 和 s0 中的元素都初始化為 0，在時間步 t 我們得到 ![](https://latex.codecogs.com/gif.latex?v_t=(1-\beta_1)\sum_{i=1}^t\beta_1^{t-i}g_i)。將過去各時間步小批次隨機梯度的權值相加，得到 ![](https://latex.codecogs.com/gif.latex?(1-\beta_1)\sum_{i=1}^t\beta_1^{t-i}=1-\beta_1^t)。需要注意的是，當 t 較小時，過去各時間步小批次隨機梯度權值之和會較小。例如，當β1 = 0.9時，v1 = 0.1g1。為了消除這樣的影響，對於任意時間步 t，我們可以將 vt 再除以 ![](https://latex.codecogs.com/gif.latex?1-\beta_1^t)，從而使過去各時間步小批次隨機梯度權值之和為1。這也叫作偏差修正。在Adam演算法中，我們對變數 vt 和 st 均作偏差修正：

![](https://latex.codecogs.com/gif.latex?\check{v}_t=\frac{v_t}{1-\beta_1^t})

![](https://latex.codecogs.com/gif.latex?\check{s}_t=\frac{s_t}{1-\beta_2^t})

接下來，Adam演算法使⽤以上偏差修正後的變數***v***ˆ*t*和***s***ˆ*t*，將模型引數中每個元素的學習率透過按元素運算重新調整：

![](https://gitee.com/kkweishe/images/raw/master/ML/2019-8-19_11-2-20.png)

其中*η*是學習率，*ϵ*是為了維持數值穩定性而新增的常數，如10的-8次方。和AdaGrad演算法、RMSProp演算法以及AdaDelta演算法⼀樣，⽬標函式⾃變數中每個元素都分別擁有⾃⼰的學習率。最後，使⽤![](https://gitee.com/kkweishe/images/raw/master/ML/2019-8-19_11-3-50.png)迭代⾃變數：

![](https://gitee.com/kkweishe/images/raw/master/ML/2019-8-19_11-4-23.png)

### 7.6 區域性最優--鞍點問題

一個具有高維度空間的函式，如果梯度為 0，那麼在每個方向，它可能是凸函式，也可能是凹函式。如果你在 2 萬維空間中，那麼想要得到區域性最優，所有的 2 萬個方向都需要是這樣，但發生的機率也許很小，也許是2的-20000次方，你更有可能遇到有些方向的曲線會這樣向上彎曲，另一些方向曲線向下彎，而不是所有的都向上彎曲，因此在高維度空間，你更可能碰到鞍點。

![](https://gitee.com/kkweishe/images/raw/master/ML/2019-8-19_9-3-31.png)

而不會碰到區域性最優。**至於為什麼會把一個曲面叫做鞍點，**你想象一下，就像是放在馬背上的馬鞍一樣，如果這是馬，這是馬的頭，這就是馬的眼睛，畫得不好請多包涵，然後你就是騎馬的人，要坐在馬鞍上，因此這裡的這個點，導數為 0 的點，這個點叫做鞍點。我想那確實是你坐在馬鞍上的那個點，而這裡導數為 0。

鞍點中的平穩段是一個問題，這樣使得學習十分緩慢，**這也是像 Momentum 或是RMSprop，Adam 這樣的演算法，能夠加速學習演算法的地方。**在這些情況下，更成熟的最佳化演算法，如 Adam 演算法，能夠加快速度，讓你儘早往下走出平穩段。

## 8. 如何解決訓練樣本少的問題

1. **利用預訓練模型進行遷移微調（fine-tuning），**預訓練模型通常在特徵上擁有很好的語義表達。此時，只需將模型在小資料集上進行微調就能取得不錯的效果。CV有ImageNet，NLP有BERT等。
2. **資料集進行下采樣操作，**使得符合資料同分布。
3. 資料集增強、正則或者半監督學習等方式來解決小樣本資料集的訓練問題。

## 9. 如何提升模型的穩定性？

1. 正則化（L2, L1, dropout）：模型方差大，很可能來自於過擬合。正則化能有效的降低模型的複雜度，增加對更多分佈的適應性。
2. 前停止訓練：提前停止是指模型在驗證集上取得不錯的效能時停止訓練。這種方式本質和正則化是一個道理，能減少方差的同時增加的偏差。目的為了平衡訓練集和未知資料之間在模型的表現差異。
3. 擴充訓練集：正則化透過控制模型複雜度，來增加更多樣本的適應性。
4. 特徵選擇：過高的特徵維度會使模型過擬合，減少特徵維度和正則一樣可能會處理好方差問題，但是同時會增大偏差。

## 10. 有哪些改善模型的思路

1. **資料角度 **

增強資料集。無論是有監督還是無監督學習，資料永遠是最重要的驅動力。更多的型別資料對良好的模型能帶來更好的穩定性和對未知資料的可預見性。對模型來說，“看到過的總比沒看到的更具有判別的信心”。

2. **模型角度**

模型的容限能力決定著模型可最佳化的空間。在資料量充足的前提下，對同型別的模型，增大模型規模來提升容限無疑是最直接和有效的手段。

3. **調參最佳化角度**

如果你知道模型的效能為什麼不再提高了，那已經向提升效能跨出了一大步。 超引數調整本身是一個比較大的問題。一般可以包含模型初始化的配置，最佳化演算法的選取、學習率的策略以及如何配置正則和損失函式等等。

4. **訓練角度**

在越大規模的資料集或者模型上，誠然一個好的最佳化演算法總能加速收斂。但你在未探索到模型的上限之前，永遠不知道訓練多久算訓練完成。所以在改善模型上充分訓練永遠是最必要的過程。充分訓練的含義不僅僅只是增大訓練輪數。有效的學習率衰減和正則同樣是充分訓練中非常必要的手段。

## 11. 如何提高深度學習系統的效能

1. 提高模型的結構。
2. 改進模型的初始化方式，保證早期梯度具有某些有益的性質，或者具備大量的稀疏性，或者利用線性代數原理的優勢。
3. 擇更強大的學習演算法。

## 12. 參考文獻

- [動手學--深度學習](http://zh.gluon.ai/)
- [吳恩達--深度學習筆記](https://github.com/fengdu78/deeplearning_ai_books)
- [GitHub](https://github.com/scutan90/DeepLearning-500-questions)
- [百面機器學習](https://www.lanzous.com/i56i24f)

【[機器學習通俗易懂系列文章](https://github.com/NLP-LOVE/ML-NLP)】

![3.png](https://img-blog.csdnimg.cn/20190802102238788.png)

------

> 作者：[@mantchs](https://github.com/NLP-LOVE/ML-NLP)
>
> GitHub：[https://github.com/NLP-LOVE/ML-NLP](https://github.com/NLP-LOVE/ML-NLP)
>
> 歡迎大家加入討論！共同完善此專案！群號：【541954936】<a target="_blank" href="http://shang.qq.com/wpa/qunwpa?idkey=863f915b9178560bd32ca07cd090a7d9e6f5f90fcff5667489697b1621cecdb3" rel="nofollow"><img border="0" src="https://i.iter01.com/images/39d4b8a0efa07d16a12ba80ca9edf476d2a096fc5d76ec42dbac6fc61246efce.png" alt="NLP面試學習群" title="NLP面試學習群" width="640" height="360"></a></n>

神經網路最佳化演算法：Dropout、梯度消失/爆炸、Adam最佳化演算法，一篇就夠了！

相關文章