機器學習整合學習—Apple的學習筆記

1.  Bagging

①  Bagging又叫自助聚集，是一種根據均勻概率分佈從資料中重複抽樣（有放回）的技術。

②  每個抽樣生成的自助樣本集上，訓練一個基分類器；對訓練過的分類器進行投票，將測試樣本指派到得票最高的類中。

③  每個自助樣本集都和原資料一樣大

④  有放回抽樣，一些樣本可能在同一訓練集中出現多次，一些可能被忽略。

2.   boosting

Boosting演算法的工作機制是首先從訓練集用初始權重訓練出一個弱學習器1，根據弱學習的學習誤差率表現來更新訓練樣本的權重，使得之前弱學習器1學習誤差率高的訓練樣本點的權重變高，使得這些誤差率高的點在後面的弱學習器2中得到更多的重視。

3.    實現對比

4.    整合學習之結合策略：

平均法，算數平均或帶權重的平均

投票法，直接比最大票數，加權投票

學習法，代表方法是stacking，就是加上一層學習器我們首先用初級學習器預測一次，得到次級學習器的輸入樣本，再用次級學習器預測一次，得到最終的預測結果。

5.   參考

https://www.cnblogs.com/pinard/p/6131423.html

https://blog.csdn.net/qq_30189255/article/details/51532442

https://www.cnblogs.com/royhoo/p/8941686.html

https://blog.csdn.net/ruiyiin/article/details/77114072

http://www.cnblogs.com/zongfa/p/9304353.html