1. 優化演算法在DL中的挑戰

1.1 優化演算法定義

在一個深度學習問題中，我們首先會定義一個損失函式（loss function），一旦有了損失函式，我們就可以用優化演算法去最小化這個損失函式的loss值。而深度學習中絕大多數目標函式都很複雜，因此，很多優化問題並不存在解析解，而需要使用基於數值方法的優化演算法找到近似解。

1.2 挑戰：區域性最小值與鞍點

若$x_0$是函式$f(x)$的區域性最小值也就是說在$x_0$附近，$f(x_0)$是最小值，但相對於全域性範圍，$f(x_0)$並不是全域性最小值。而深度學習模型的目標函式可能有若干區域性最優值，當一個優化問題的數值解在區域性最優解附近時，由於目標函式有關解的梯度接近或變為0，最終迭代求得的數值解可能只令目標函式區域性最小化而非全域性最小化。如下圖所示：

除了區域性最優解外，同時，還有一種情況會使得梯度接近或變成0，這個點叫鞍點（saddle point），例如函式$f(x)=x^3$，在$x=0$的時候，梯度為0，但該點是一個鞍點，如下圖所示：

雖然在深度學習中，找到目標函式的全域性最優解很難，但是一些常用的優化演算法，在很多實際問題中都能夠訓練出有效的深度學習模型，接下來，會對這幾種優化演算法做一個介紹。

2. 常見的優化演算法

2.1 梯度下降 (gradient descent)

2.1.1 梯度下降演算法可以降低目標函式值原因

首先大多數人可能會有過這樣的疑問：為什麼梯度下降演算法可以降低目標函式值？
讓我們來做一個簡單的推導，假設有一個連續可導函式$f(x)$，給定一個足夠小的數$\epsilon$，根據泰勒展開式，得到以下近似等式：
$$f(x+\epsilon )\approx f(x)+\epsilon f^{{}^{\prime }}(x)(1)$$
這裡$f^{{}^{\prime }}(x)$是函式在$x$處的梯度，一維函式的梯度是一個標量，也稱導數。
令$\epsilon =-a{f}^{{}^{\prime }}(x)$，其中常數$a>0$，且使得$\left|\begin{array}{c}a{f}^{{}^{\prime }}(x)\end{array}\right|$足夠小，則上述等式（1）變換形式如下：
$$f(x-a{f}^{{}^{\prime }}(x))\approx f(x)-a{f}^{{}^{\prime }}(x{)}^2(2)$$
如果導數$f^{{}^{\prime }}(x)\ne 0$，那麼$a{f}^{{}^{\prime }}(x{)}^2>0$，則上述（2）等式變換形式如下：
$$f(x-a{f}^{{}^{\prime }}(x))<\approx f(x)$$
也就是說，通過$x\leftarrow x-a{f}^{{}^{\prime }}(x)$，來迭代$x$，函式$f(x)$的值可能會降低。因此在平時訓練深度學習模型時，我們會初始化變數值$x$，然後設定一個學習率$a$來不斷迭代$x$，直到到達停止條件，比如loss值足夠小，或者試驗指標已經不再提高等。
下面通過實現一個簡單的函式來體驗下梯度下降過程，假如我們的目標函式是$f(x)=x^2$，我們知道最小化$f(x)$的解是$x=0$，用梯度下降法，假設初始$x=10$，並設學習率$a=0.2$，則10次迭代後，$x$的值已經和最優解十分接近了，如下python程式碼演示：

# -*-coding:utf8 -*-
import sys

def gd(rate, epoch=10):
	'''
		y=x*x函式，梯度求解過程驗證
	'''
	x = 10
	results = [x]
	for i in range(epoch):
		x -= rate*2*x
		results.append(x)
	print('epoch %d, x: %f:'%(epoch,x))
	return results

如下圖為自變數$x$的迭代過程圖：

2.1.2 學習率設定

學習率是一個超引數，需要人工設定，如果使用過小的學習率，學習過程較緩慢，需要更多次迭代，$x$才能夠得到較好的解。函式$f(x)=x^2$，若設定學習率$a=0.05$，則10次迭代後，x的值和最優解還存在較大的差距，這是10次後的結果值：

自變數$x$的迭代過程圖形如下：

相反，如果學習率$a$設定過大，那麼會出現什麼現象呢？如果學習率過大，上述的假設$\left|\begin{array}{c}a{f}^{{}^{\prime }}(x)\end{array}\right|$很小不成立，則最開始的一階泰勒展開公式不再成立，則無法保證迭代$x$會降低$f(x)$的值，還是以上面的例子為例，假設設定學習率$a=1.1$，則$x$不斷越過最優解$x=0$並逐漸發散。

$x$的迭代變化過程如下圖所示：

2.2 隨機梯度下降 (stochastic gradient descent)

2.2.1 方法

在深度學習中，目標函式通常是訓練樣本資料集中所有樣本的損失函式的平均。假設$f_i(x)$是第$i$個訓練樣本的損失函式，$n$是總樣本數，$x$是模型的引數向量，那麼目標函式定義為：
$$f(x)=\frac{1}{n}\sum _{i=1}^n{f}_i(x)$$
目標函式在$x$處的梯度計算為：
$$\nabla f(x)=\frac{1}{n}\sum _{i=1}^n\nabla f_i(x)$$
如果使用梯度下降，每次自變數迭代的計算開銷為$O(n)$，若樣本量$n$很大時，每次迭代開銷很大。
而隨機梯度下降就是為了減少每次迭代的計算開銷，在隨機梯度下降的每次迭代中，我們隨機均勻取樣一個樣本索引$i\in 1,2,...,n$，並計算梯度$\nabla f_i(x)$來迭代$x$:
$$x\leftarrow x-a\nabla f_i(x)$$
所以每次迭代的計算開銷從$O(n)$降低到$O(1)$。

2.2.2 總結

總結兩點：

• 學習率過大或過小都是不合理的，平時可以根據經驗和試驗設定一個較合理的值
• 使用適當的學習率，沿著梯度反方向更新自變數可能降低目標函式值

2.3 批量隨機梯度下降 ( batch gradient descent)

Batch Renormalization: Towards Reducing Minibatch Dependence in Batch-Normalized Models

2.3.1 方法

梯度下降和隨機梯度下降一個計算完整個資料集梯度，再進行引數變數的更新，一個隨機取樣一個樣本計算梯度，再進行引數變數的更新。梯度下降每次更新引數變數計算開銷代價太大，而隨機梯度每次更新引數變數容易受單樣本影響，使得學習過程變得困難，不夠平滑。所以，批量梯度下降是這兩者方法的折中，開銷代價既沒有梯度下降大，學習過程也比隨機梯度方法更加平滑。
從名字可知，批量隨機梯度每次隨機取樣一個批量，也就是平時在訓練深度學習模型過程中的一個batch樣本來計算梯度。

2.4 Momentum

On the importance of initialization and momentum in deep learning

2.4.1 方法

假設我們有一個二維向量輸入的目標函式$$f(x)=0.1x_1^2+2x_2^2$$，實現這個目標函式的梯度下降，程式碼如下所示：

def function(x1,x2):
	return 0.1 * x1 ** 2 + 2 * x2 ** 2

def gd_f(x1, x2, a):
	return (x1 - a * 0.2 * x1, x2 - a * 4 * x2)

假設我們令學習率$a=0.4$， 引數更新迭代的圖形變化如下：

由於目標函式在$x_2$方向比在$x_1$方向的斜率更大，從圖中也可以看出，梯度下降迭代自變數在$x_2$方向比在$x_1$方向移動幅度更大，為了避免自變數$x_2$方向上目標函式越過最優解，需要調小學習率，但是，在$x_1$方向上，朝最優解移動會變慢。若將學習率再調大一些$a=0.6$，在$x_2$方向上發散，越過最優解，如下圖所示：

而動量（momentum）方法就是解決上述梯度下降問題。數學公式定義為如下：
$$v_t=\beta v_{t-1}+g_t$$
其中 $\beta \in (0,1)$。$v$叫做 momentum，讓我們對$v$進行迴圈展開得到如下表示式：
$$v_t={\beta }^2{v}_{t-2}+\beta g_{t-1}+g_t=...,=\sum _{i=0}^{t-1}{\beta }^i{g}_{t-i}$$
而當時間$t$達到極限的時候，有如下公式：
$$\sum _{i=0}^{\infty }{\beta }^i=\frac{1}{1-\beta }$$
而基於momentum方法的梯度更新公式如下：
$$v_t\leftarrow \beta v_{t-1}+g_t$$
$$x_t\leftarrow x_{t-1}-\eta v_t$$
當$\beta =0$時，就是最初的梯度下降演算法了，基於momentum方法，更新的梯度不再是當前最近一個step $t$計算的梯度，而是根據歷史前時間$t$步數的梯度加權之後，但離當前時間$t$越前的時間，由於${\beta }^2$指數形式，對當前會產生很小甚至不產生作用，也就是說與當前時間$t$越近，${\beta }^i$越大，所以越近的梯度產生較大的比重。上述函式$f(x)=0.1x_1^2+2x_2^2$，momentum方法梯度更新程式碼如下：

def momentum(beta, a, x1, x2, v1, v2):
	v1 = beta * v1 + 0.2 * v1
	v2 = beta * v2 + 4 * v2
	return x1 - eta * v1, x2 - eta * v2, v1, v2

我們還是設學習率$\eta =0.6$，$\beta =0.5$，則基於momentum方法的引數更新過程如下圖所示：

我們可以看到，和上述我們使用過的梯度下降演算法一樣的學習率$\eta =0.6$，momentum方法也能夠較好的收斂。

2.4.2 總結

總結三點：

• 動量法使用了指數加權移動平均的思想，它將過去的梯度做了加權平均，且權重按照時間步指數進行刪減，離當前越近步的梯度權重越大
• 動量法使得相鄰的自變數更新在方向上更加一致
• 動量法依賴指數加權移動平均使得自變數的更新方向更加一致，從而降低發散的可能
• 在動量法中，自變數在各個方向上的移動幅度不僅取決於當前梯度，還取決於過去的各個梯度在各個方向上是否一致

2.5 Adagrad

Adaptive Subgradient Methods for
Online Learning and Stochastic Optimization∗

2.5.1 方法

上述的幾個優化演算法在相同的時間步裡，目標函式對變數的每個元素都使用相同的學習率進行更新迭代。但是，實際情況中，可能會有很多稀疏特徵，訓練模型過程中，出現頻率高的特徵，學習率可能需要慢慢減少，但是一些比較低頻率出現的特徵，可能需要大一點的學習率。所以，Afagrad根據自變數在每個維度的梯度值的大小來調整各個維度上的學習率，從而避免統一的學習率難以適應所有維度的問題 。
從Adagrad演算法的核心思想出發，在計算各自變數值的時候，我們可以基於批量隨機梯度方法調整如下：

$$g_t={\partial }_{w}l(y_t,f(x_t,w))$$
$$s_t=s_{t-1}+g_t^2$$
$$w_t=w_{t-1}-\frac{\eta }{\sqrt{s_t+\epsilon }}{g}_t$$
其中$\eta$是學習率，$\epsilon$是一個很小的常量，比如$10^{-6}$，為了維持數值穩定性，從上面三個公式可以看出，每個自變數的學習率$\frac{\eta }{\sqrt{s_t+\epsilon }}$會根據歷史累計梯度的平方進行變化，若之前的歷史累積梯度較大，則學習率會慢慢變小，相反，則會慢慢變大，初始$s_0=0$。
接下來，讓我們仍然以目標函式$f(x)=0.1x^2+2x_2^2$為例，看Adagrad演算法是怎樣對自變數進行迭代的，梯度更新程式碼如下：

import math
eta = 0.4
def adagrad(x1, x2, s1, s2):
	g1, g2, eps = 0.2*x1, 4*x2, 1e-6
	s1 += g1 ** 2
	s2 += g2 ** 2
	x1 -= eta / math.sqrt(s1 + eps) * g1
	x2 -= eta / math.sqrt(s2 + eps) * g2
	return x1, x2, s1, s2

我們還是按照學習率為0.4，adagrad優化演算法圖形如下：

可以看出，由於$s_t$的累加效果，自變數隨著時間步拉長，變化幅度越來越小。如果調大學習率為2，自變數更為迅速地逼近了最優解，如下圖所示：

2.5.2 總結

• Adagrad演算法會根據每個變數的歷史累計梯度，不斷降低（不變）學習率的大小
• 歷史梯度累積越大，則學習率下降的越快
• Adagrad演算法對稀疏特徵較有效，當頻率出現較低的特徵在學習過程中需要較大的學習率
• Adagrad演算法對於學習率降低有點過於極端，如果一開始某個變數的學習率很大，但是一直沒學好，則後面學習率降低很小，很有可能不會再找到最優解

2.6 RMSProp

divide the gradient by a running average of its recent magnitude. COURSERA

2.6.1 方法

由於在Adagrad演算法中，我們是通過對之前時間步$t$的梯度平方累加而不斷降低學習率。如果學習率在一開始早期迭代沒有到達最佳值，到後面由於學習率太小，可能很難再找到合適的解。
為了解決Adagrad演算法後期迭代學習率過小，而還沒有達到最優解的這種問題，從上述Adagrad公式可以看出，一種方法是最後的$s_t$可以求個時間$t$的平均，$s_t/t$，這樣$s_t$不會因為時間$t$的累積，一直在變大，而導致學習率一直在下降。但是這種求平均方式學習過程很緩慢。可以用一個類似的平均方法取代，在前面講解的momentum方法中使用過的指數加權移動平均。RMSProp更新迭代的數學公式如下：
$$s_t\leftarrow \gamma s_{t-1}+(1-\gamma )g_t^2$$
$$x_t\leftarrow x_{t-1}-\frac{\eta }{\sqrt{s_t+\epsilon }}\odot g_t$$
常量$\epsilon >0$，用來保證除數不為0或者不會除以很小的數，維持數值穩定。讓我們對$s_t$展開，得到如下形式:
$$s_t=(1-\gamma )g_t^2+\gamma s_{t-1}=(1-\gamma )(g_t^2+\gamma g_{t-1}^2+{\gamma }^2{g}_{t-2}^2+...,)$$
而$1+\gamma +{\gamma }^2+...,=\frac{1}{1-\gamma }$，因此並不是隨著時間增加，$s_t$一直增加，因為隨著時間增加，梯度按照最近的指數加權平均，可以看做最近時間步$\frac{1}{1-\gamma }$的梯度指數加權平均。
還是以函式$f(x)=0.1x_1^2+2x_2^2$為例，迭代程式碼如下：

import math
eta, gamma = 0.4, 0.9
def Rmsprop(x1, x2, s1, s2):
	g1, g2, eps = 0.2 * x1, 4 * x2, 1e-6
	s1 = gamma * s1 + (1 - gamma) * g1 **2
	s2 = gamma * s2 + (1 - gamma) * g2 **2
	x1 -= eta / math.sqrt(s1 + eps) * g1
	x2 -= eta / math.sqrt(s2 + eps) * g2
	return x1, x2, s1, s2

我們還是用學習率為0.4，在Adagrad迭代方法中，後期自變數移動幅度較小，而下圖是RMSProp優化迭代過程，相同的迭代條件下，收斂速度更快。

2.6.2 總結

• RMSProp演算法和Adagrad演算法十分相近，不同點在於，RMSProp演算法使用指數加權移動平均來調整學習率，保證了學習率並不會一直單調降低
• 係數$\gamma$決定了累積歷史多久時間步的梯度值更新引數$s_t$

2.7 AdaDelta

ADADELTA: AN ADAPTIVE LEARNING RATE METHOD

2.7.1 方法

Adadelta是AdaGrad演算法的一種變體，類似RMSProp演算法，主要針對AdaGrad後期迭代因為學習率降低的太小，可能較難找到最優解問題而做的改進，同時Adadelta沒有學習率這個超引數。
Adadelta保留了兩個狀態變數，$s_t$儲存了歷史梯度變化情況，$\Delta x_t$儲存的是歷史自變數變化情況。所以具體數學公式如下：
$$s_t=\rho s_{t-1}+(1-\rho )g_t^2$$

$$g_t^{{}^{\prime }}=\frac{\sqrt{\Delta x_{t-1}+\epsilon }}{\sqrt{s_t+\epsilon }}$$
$$\Delta x_t=\epsilon \Delta x_{t-1}+(1-\epsilon )g_t^{{{}^{\prime }}^2}$$
$$x_t=x_{t-1}-g_t^{{}^{\prime }}$$
其中$\epsilon$是一個很小的數值，比如$10^{-5}$，為了維持計算的穩定性。從上面公式可以看出，AdaDelta演算法相比RMSProp演算法的主要區別是用$\Delta x$這個變數來替換RMSProp的超引數學習率$\eta$。其中$\Delta x_0$和$s_0$初始化都是0。

2.7.2 總結

• Adadelta演算法沒有學習率這個超引數，通過計算自變數的指數加權平均來替代學習率
• Adadelta使用兩個變數來儲存梯度的變化和自變數本身的變化

2.8 Adam

ADAM: A METHOD FOR STOCHASTIC OPTIMIZATIONfang’f

2.8.1 方法

Adam是一個綜合了上述所有優化演算法的一個有效的演算法。目前為止，Adam是在深度學習模型裡使用較多，也是教魯棒的優化器之一。不過Adam演算法也有一些問題，具體可以參考以下兩篇論文：
On the Convergence of Adam and Beyond

Adaptive Methods for Nonconvex Optimization

Adam演算法的使用了動量變數$v_t$和RMSProp演算法中的批量隨機梯度平方的指數加權移動平均變數$s_t$。數學公式如下：
$$v_t\leftarrow {\beta }_1{v}_{t-1}+(1-{\beta }_1)g_t$$
$$s_t\leftarrow {\beta }_2{s}_{t-1}+(1-{\beta }_2)g_t^2$$
其中${\beta }_1$和${\beta }_2$是一個小於1的正數，一般設定是${\beta }_1=0.9$ ${\beta }_2=0.999$，初始值$v_0=s_0=0$。
$v_t=(1-{\beta }_1){\sum }_{i=1}^t{\beta }_1^{t-i}{g}_i$，將過去各時間步批量隨機梯度權值相加，得到$(1-{\beta }_1){\sum }_{i=1}^t{\beta }_1^{t-i}=1-{\beta }_1^t$，當時間$t$很小時。過去各時間步批量梯度權值之和很小，例如當${\beta }_1=0.9$，$v_1=0.1g_1$，為了避免這樣的影響，除以$1-{\beta }_1^t$歸一化因子，修正後如下：
$$\widehat{v_t}=\frac{v_t}{1-{\beta }_1^t}$$
$$\widehat{s_t}=\frac{s_t}{1-{\beta }_2^t}$$
Adam演算法用$v_t$和$s_t$來調整每個引數的學習率，如下公式：
$$g_t^{{}^{\prime }}\leftarrow \frac{\eta \widehat{v_t}}{\sqrt{\widehat{s_t}}+\epsilon }$$
$$x_t\leftarrow x_{t-1}-g_t^{{}^{\prime }}$$
$\eta$是學習率，$\epsilon$是為了維持數值計算穩定的一個很小的常量，如$10^{-8}$，和AdaGrad、RMSProp以及AdaDelta演算法一樣，每個自變數都有自己的學習率。

2.8.2 總結

• Adam演算法集合了許多優化演算法的特性，是一個較魯棒的優化演算法
• Adam相對於RMSPro演算法，在時間$t$步上，用歷史所有時間$t$步的批量隨機梯度指數加權移動平均來替代當前時間$t$的梯度$g_t$
• Adam演算法y也使用了偏差修正，保證了在剛開始，時間步$t$很小的時候，指數加權權重之和較小問題

3. 參考資料

Optimization and Deep Learning