在整合學習原理小結中，我們講到了整合學習按照個體學習器之間是否存在依賴關係可以分為兩類，第一個是個體學習器之間存在強依賴關係，另一類是個體學習器之間不存在強依賴關係。前者的代表演算法就是是boosting系列演算法。在boosting系列演算法中， Adaboost是最著名的演算法之一。Adaboost既可以用作分類，也可以用作迴歸。本文就對Adaboost演算法做一個總結。
1. 回顧boosting演算法的基本原理
在整合學習原理小結中，我們已經講到了boosting演算法系列的基本思想，如下圖：
從圖中可以看出，Boosting演算法的工作機制是首先從訓練集用初始權重訓練出一個弱學習器1，根據弱學習的學習誤差率表現來更新訓練樣本的權重，使得之前弱學習器1學習誤差率高的訓練樣本點的權重變高，使得這些誤差率高的點在後面的弱學習器2中得到更多的重視。然後基於調整權重後的訓練集來訓練弱學習器2.，如此重複進行，直到弱學習器數達到事先指定的數目T，最終將這T個弱學習器通過集合策略進行整合，得到最終的強學習器。
不過有幾個具體的問題Boosting演算法沒有詳細說明。
1）如何計算學習誤差率e?
2) 如何得到弱學習器權重係數$\alpha$?
3）如何更新樣本權重D?
4) 使用何種結合策略？
只要是boosting大家族的演算法，都要解決這4個問題。那麼Adaboost是怎麼解決的呢？
2. Adaboost演算法的基本思路
我們這裡講解Adaboost是如何解決上一節這4個問題的。
假設我們的訓練集樣本是$$T=\{(x_,y_1),(x_2,y_2), ...(x_m,y_m)\}$$
訓練集的在第k個弱學習器的輸出權重為$$D(k) = (w_{k1}, w_{k2}, ...w_{km}) ;\;\; w_{1i}=\frac{1}{m};\;\; i =1,2...m$$
首先我們看看Adaboost的分類問題。
分類問題的誤差率很好理解和計算。由於多元分類是二元分類的推廣，這裡假設我們是二元分類問題，輸出為{-1，1}，則第k個弱分類器$G_k(x)$在訓練集上的加權誤差率為$$e_k = P(G_k(x_i) \neq y_i) = \sum\limits_{i=1}^{m}w_{ki}I(G_k(x_i) \neq y_i)$$
接著我們看弱學習器權重係數,對於二元分類問題，第k個弱分類器$G_k(x)$的權重係數為$$\alpha_k = \frac{1}{2}log\frac{1-e_k}{e_k}$$
為什麼這樣計算弱學習器權重係數？從上式可以看出，如果分類誤差率$e_k$越大，則對應的弱分類器權重係數$\alpha_k$越小。也就是說，誤差率小的弱分類器權重係數越大。具體為什麼採用這個權重係數公式，我們在講Adaboost的損失函式優化時再講。
第三個問題，更新更新樣本權重D。假設第k個弱分類器的樣本集權重係數為$D(k) = (w_{k1}, w_{k2}, ...w_{km})$，則對應的第k+1個弱分類器的樣本集權重係數為$$w_{k+1,i} = \frac{w_{ki}}{Z_K}exp(-\alpha_ky_iG_k(x_i))$$
這裡$Z_k$是規範化因子$$Z_k = \sum\limits_{i=1}^{m}w_{ki}exp(-\alpha_ky_iG_k(x_i))$$
從$w_{k+1,i}$計算公式可以看出，如果第i個樣本分類錯誤，則$y_iG_k(x_i) < 0$，導致樣本的權重在第k+1個弱分類器中增大，如果分類正確，則權重在第k+1個弱分類器中減少.具體為什麼採用樣本權重更新公式，我們在講Adaboost的損失函式優化時再講。
最後一個問題是集合策略。Adaboost分類採用的是加權表決法，最終的強分類器為$$f(x) = sign(\sum\limits_{k=1}^{K}\alpha_kG_k(x))$$
接著我們看看Adaboost的迴歸問題。由於Adaboost的迴歸問題有很多變種，這裡我們以Adaboost R2演算法為準。
我們先看看回歸問題的誤差率的問題，對於第k個弱學習器，計算他在訓練集上的最大誤差$$E_k= max|y_i - G_k(x_i)|\;i=1,2...m$$
然後計算每個樣本的相對誤差$$e_{ki}= \frac{|y_i - G_k(x_i)|}{E_k}$$
這裡是誤差損失為線性時的情況，如果我們用平方誤差，則$e_{ki}= \frac{(y_i - G_k(x_i))^2}{E_k^2}$,如果我們用的是指數誤差，則$e_{ki}= 1 - exp（\frac{-y_i + G_k(x_i))}{E_k}）$
最終得到第k個弱學習器的 誤差率$$e_k = \sum\limits_{i=1}^{m}w_{ki}e_{ki}$$
我們再來看看如何得到弱學習器權重係數$\alpha$。這裡有：$$\alpha_k =\frac{e_k}{1-e_k}$$
對於更新更新樣本權重D，第k+1個弱學習器的樣本集權重係數為$$w_{k+1,i} = \frac{w_{ki}}{Z_k}\alpha_k^{1-e_{ki}}$$
這裡$Z_k$是規範化因子$$Z_k = \sum\limits_{i=1}^{m}w_{ki}\alpha_k^{1-e_{ki}}$$
最後是結合策略，和分類問題稍有不同，採用的是對加權的弱學習器取權重中位數對應的弱學習器作為強學習器的方法，最終的強迴歸器為$$f(x) =G_{k^*}(x)$$
其中，$G_{k^*}(x)$是所有$ln\frac{1}{\alpha_k}, k=1,2,....K$的中位數值對應序號$k^*$對應的弱學習器。
3. AdaBoost分類問題的損失函式優化
剛才上一節我們講到了分類Adaboost的弱學習器權重係數公式和樣本權重更新公式。但是沒有解釋選擇這個公式的原因，讓人覺得是魔法公式一樣。其實它可以從Adaboost的損失函式推匯出來。
從另一個角度講， Adaboost是模型為加法模型，學習演算法為前向分步學習演算法，損失函式為指數函式的分類問題。
模型為加法模型好理解，我們的最終的強分類器是若干個弱分類器加權平均而得到的。
前向分步學習演算法也好理解，我們的演算法是通過一輪輪的弱學習器學習，利用前一個弱學習器的結果來更新後一個弱學習器的訓練集權重。也就是說，第k-1輪的強學習器為$$f_{k-1}(x) = \sum\limits_{i=1}^{k-1}\alpha_iG_{i}(x)$$
而第k輪的強學習器為$$f_{k}(x) = \sum\limits_{i=1}^{k}\alpha_iG_{i}(x)$$
上兩式一比較可以得到$$f_{k}(x) = f_{k-1}(x) + \alpha_kG_k(x) $$
可見強學習器的確是通過前向分步學習演算法一步步而得到的。
Adaboost損失函式為指數函式，即定義損失函式為$$\underbrace{arg\;min\;}_{\alpha, G} \sum\limits_{i=1}^{m}exp(-y_if_{k}(x))$$
利用前向分步學習演算法的關係可以得到損失函式為$$(\alpha_k, G_k(x)) = \underbrace{arg\;min\;}_{\alpha, G}\sum\limits_{i=1}^{m}exp[(-y_i) (f_{k-1}(x) + \alpha G(x))]$$
令$w_{ki}^{’} = exp(-y_if_{k-1}(x))$, 它的值不依賴於$\alpha, G$,因此與最小化無關，僅僅依賴於$f_{k-1}(x)$,隨著每一輪迭代而改變。
將這個式子帶入損失函式,損失函式轉化為$$(\alpha_k, G_k(x)) = \underbrace{arg\;min\;}_{\alpha, G}\sum\limits_{i=1}^{m}w_{ki}^{’}exp[-y_i\alpha G(x)]$$
首先，我們求$G_k(x)$.，可以得到$$G_k(x) = \underbrace{arg\;min\;}_{G}\sum\limits_{i=1}^{m}w_{ki}^{’}I(y_i \neq G(x_i))$$
將$G_k(x)$帶入損失函式，並對$\alpha$求導，使其等於0，則就得到了$$\alpha_k = \frac{1}{2}log\frac{1-e_k}{e_k}$$
其中，$e_k$即為我們前面的分類誤差率。$$e_k = \frac{\sum\limits_{i=1}^{m}w_{ki}^{’}I(y_i \neq G(x_i))}{\sum\limits_{i=1}^{m}w_{ki}^{’}} = \sum\limits_{i=1}^{m}w_{ki}I(y_i \neq G(x_i))$$
最後看樣本權重的更新。利用$f_{k}(x) = f_{k-1}(x) + \alpha_kG_k(x) $和$w_{ki}^{’} = exp(-y_if_{k-1}(x))$，即可得：$$w_{k+1,i}^{’} = w_{ki}^{’}exp[-y_i\alpha_kG_k(x)]$$
這樣就得到了我們第二節的樣本權重更新公式。
4. AdaBoost二元分類問題演算法流程
這裡我們對AdaBoost二元分類問題演算法流程做一個總結。
輸入為樣本集$T=\{(x_,y_1),(x_2,y_2), ...(x_m,y_m)\}$，輸出為{-1, +1}，弱分類器演算法, 弱分類器迭代次數K。
輸出為最終的強分類器$f(x)$
1) 初始化樣本集權重為$$D(1) = (w_{11}, w_{12}, ...w_{1m}) ;\;\; w_{1i}=\frac{1}{m};\;\; i =1,2...m$$
2) 對於k=1,2，...K:
a) 使用具有權重$D_k$的樣本集來訓練資料，得到弱分類器$G_k(x)$
b)計算$G_k(x)$的分類誤差率$$e_k = P(G_k(x_i) \neq y_i) = \sum\limits_{i=1}^{m}w_{ki}I(G_k(x_i) \neq y_i)$$
c) 計算弱分類器的係數$$\alpha_k = \frac{1}{2}log\frac{1-e_k}{e_k}$$
d) 更新樣本集的權重分佈$$w_{k+1,i} = \frac{w_{ki}}{Z_K}exp(-\alpha_ky_iG_k(x_i)) \;\; i =1,2,...m$$
這裡$Z_k$是規範化因子$$Z_k = \sum\limits_{i=1}^{m}w_{ki}exp(-\alpha_ky_iG_k(x_i))$$
3) 構建最終分類器為：$$f(x) = sign(\sum\limits_{k=1}^{K}\alpha_kG_k(x))$$
對於Adaboost多元分類演算法，其實原理和二元分類類似，最主要區別在弱分類器的係數上。比如Adaboost SAMME演算法，它的弱分類器的係數$$\alpha_k = \frac{1}{2}log\frac{1-e_k}{e_k} + log(R-1)$$
其中R為類別數。從上式可以看出，如果是二元分類，R=2，則上式和我們的二元分類演算法中的弱分類器的係數一致。
5. Adaboost迴歸問題的演算法流程
這裡我們對AdaBoost迴歸問題演算法流程做一個總結。AdaBoost迴歸演算法變種很多，下面的演算法為Adaboost R2迴歸演算法過程。
輸入為樣本集$T=\{(x_,y_1),(x_2,y_2), ...(x_m,y_m)\}$，，弱學習器演算法, 弱學習器迭代次數K。
輸出為最終的強學習器$f(x)$
1) 初始化樣本集權重為$$D(1) = (w_{11}, w_{12}, ...w_{1m}) ;\;\; w_{1i}=\frac{1}{m};\;\; i =1,2...m$$
2) 對於k=1,2，...K:
a) 使用具有權重$D_k$的樣本集來訓練資料，得到弱學習器$G_k(x)$
b) 計算訓練集上的最大誤差$$E_k= max|y_i - G_k(x_i)|\;i=1,2...m$$
c) 計算每個樣本的相對誤差:
如果是線性誤差，則$e_{ki}= \frac{|y_i - G_k(x_i)|}{E_k}$；
如果是平方誤差，則$e_{ki}= \frac{(y_i - G_k(x_i))^2}{E_k^2}$
如果是指數誤差，則$e_{ki}= 1 - exp（\frac{-|y_i -G_k(x_i)|}{E_k}）$
d) 計算迴歸誤差率$$e_k = \sum\limits_{i=1}^{m}w_{ki}e_{ki}$$
c) 計算弱學習器的係數$$\alpha_k =\frac{e_k}{1-e_k}$$
d) 更新樣本集的權重分佈為$$w_{k+1,i} = \frac{w_{ki}}{Z_k}\alpha_k^{1-e_{ki}}$$
這裡$Z_k$是規範化因子$$Z_k = \sum\limits_{i=1}^{m}w_{ki}\alpha_k^{1-e_{ki}}$$
3) 構建最終強學習器為：$$f(x) =G_{k^*}(x)$$
其中，$G_{k^*}(x)$是所有$ln\frac{1}{\alpha_k}, k=1,2,....K$的中位數值對應序號$k^*$對應的弱學習器。
6. Adaboost演算法的正則化
為了防止Adaboost過擬合，我們通常也會加入正則化項，這個正則化項我們通常稱為步長(learning rate)。定義為$\nu$,對於前面的弱學習器的迭代$$f_{k}(x) = f_{k-1}(x) + \alpha_kG_k(x) $$
如果我們加上了正則化項，則有$$f_{k}(x) = f_{k-1}(x) + \nu\alpha_kG_k(x) $$
$\nu$的取值範圍為$0 < \nu \leq 1 $。對於同樣的訓練集學習效果，較小的$\nu$意味著我們需要更多的弱學習器的迭代次數。通常我們用步長和迭代最大次數一起來決定演算法的擬合效果。
7. Adaboost小結
到這裡Adaboost就寫完了，前面有一個沒有提到，就是弱學習器的型別。理論上任何學習器都可以用於Adaboost.但一般來說，使用最廣泛的Adaboost弱學習器是決策樹和神經網路。對於決策樹，Adaboost分類用了CART分類樹，而Adaboost迴歸用了CART迴歸樹。
這裡對Adaboost演算法的優缺點做一個總結。
Adaboost的主要優點有：
1）Adaboost作為分類器時，分類精度很高
2）在Adaboost的框架下，可以使用各種迴歸分類模型來構建弱學習器，非常靈活。
3）作為簡單的二元分類器時，構造簡單，結果可理解。
4）不容易發生過擬合
Adaboost的主要缺點有：
1）對異常樣本敏感，異常樣本在迭代中可能會獲得較高的權重，影響最終的強學習器的預測準確性。
（歡迎轉載，轉載請註明出處。歡迎溝通交流： liujianping-ok@163.com）