ML《整合學習（二）Boosting之Adaboosting》

一：整合學習
整合學習通過構建並結合多個學習器來完成學習任務，有時也被稱為多分類器系統、基於委員會的學習等。整合學習通過將多個學習器進行結合，常可獲得比單一學習器顯著優越的泛化效能，也就是平常所說的“三個臭皮匠頂個諸葛亮”的道理。下面從兩個方面對整合學習進行簡要介紹。

它有兩個大種類：根據個體學習器的生成方式，目前的整合學習方法大致可以分為兩大類，即個體學習器間存在強依賴關係、必須序列生成的序列化方法，代表演算法是Boosting系列的演算法；以及個體學習器間不存在強依賴關係、可同時生成的並行化方法，代表演算法是Bagging和隨機森林（上一博文經學習過了）。


二：AdaBoosting

從圖中我們可以看出來，演算法是將多個基本弱的分類器結合在一起，每個分類器對應於一個權重引數（訓練而來），而每個弱分類器對最終分類結果的作用也不同，是通過加權平均輸出的，權值見上圖中三角形裡面的數值。那麼這些弱分類器和其對應的權值是怎樣訓練出來的呢？

AdaBoost演算法是Adaptive Boost的簡稱，Boosting通過將一系列弱學習器組合起來，通過整合這些弱學習器的學習能力，得到一個強學習器。具體到AdaBoost演算法，AdaBoost在之前學習器的基礎上改變樣本的權重，增加那些之前被分類錯誤的樣本的比重，降低分類正確樣本的比重，這樣之後的學習器將重點關注那些被分類錯誤的樣本。最後通過將這些學習器通過加權組合成一個強學習器，具體的，分類正確率高的學習器權重較高，分類正確率低的學習器權重較低。

開始時，所有樣本的權重相同，訓練得到第一個基分類器。從第二輪開始，每輪開始前都先根據上一輪基分類器的分類效果調整每個樣本的權重，上一輪分錯的樣本權重提高，分對的樣本權重降低。之後根據新得到樣本的權重指導本輪中的基分類器訓練，即在考慮樣本不同權重的情況下得到本輪錯誤率最低的基分類器。重複以上步驟直至訓練到約定的輪數結束，每一輪訓練得到一個基分類器。



好了，Adaboosting演算法先暫時學習這裡咯。