bootstrap, boosting, bagging 幾種方法的聯絡

轉：http://blog.csdn.net/jlei_apple/article/details/8168856

這兩天在看關於boosting演算法時，看到一篇不錯的文章講bootstrap, jackknife, bagging, boosting, random forest 都有介紹，以下是搜尋得到的原文，沒找到部落格作者的地址，

在這裡致謝作者的研究。

一併列出一些找到的介紹boosting演算法的資源：

（1）視訊講義，介紹boosting演算法，主要介紹AdaBoosing    http://videolectures.net/mlss05us_schapire_b/

  (2)   在這個網站的資源項裡列出了對於boosting演算法來源介紹的幾篇文章，可以下載：    http://www.boosting.org/tutorials

   (3)  一個部落格介紹了許多視覺中常用演算法，作者的實驗和理解，這裡附錄的連結是關於使用opencv進行人臉檢測的過程和程式碼，可以幫助理解訓練過程是如何完成的：
         http://www.cnblogs.com/tornadomeet/archive/2012/03/28/2420936.html

（4）這裡是一個臺灣的電子期刊上關於AdaBoost的介紹:  http://140.113.87.114/cvrc/edm/vol_6/tech1.htm

 （  一 ）

“

Jackknife，Bootstraping, bagging, boosting, AdaBoosting, Rand forest 和 gradient boosting

這些術語，我經常搞混淆，現在把它們放在一起，以示區別。(部分文字來自網路，由於是之前記的筆記，忘記來源了，特此向作者抱歉）

Bootstraping: 名字來自成語“pull up by your own bootstraps”，意思是依靠你自己的資源，稱為自助法，它是一種有放回的抽樣方法，它是非引數統計中一種重要的估計統計量方差進而進行區間估計的統計方法。其核心思想和基本步驟如下：
　　（1） 採用重抽樣技術從原始樣本中抽取一定數量（自己給定）的樣本，此過程允許重複抽樣。 
　　（2） 根據抽出的樣本計算給定的統計量T。 
　　（3） 重複上述N次（一般大於1000），得到N個統計量T。 
　　（4） 計算上述N個統計量T的樣本方差，得到統計量的方差。
　　應該說Bootstrap是現代統計學較為流行的一種統計方法，在小樣本時效果很好。通過方差的估計可以構造置信區間等，其運用範圍得到進一步延伸。

Jackknife： 和上面要介紹的Bootstrap功能類似，只是有一點細節不一樣，即每次從樣本中抽樣時候只是去除幾個樣本（而不是抽樣），就像小刀一樣割去一部分。

(pku， sewm，shinningmonster.)

============================================================================================================================

下列方法都是上述Bootstraping思想的一種應用。

bagging：bootstrap aggregating的縮寫。讓該學習演算法訓練多輪，每輪的訓練集由從初始的訓練集中隨機取出的n個訓練樣本組成，某個初始訓練樣本在某輪訓練集中可以出現多次或根本不出現，訓練之後可得到一個預測函式序列h_1，⋯ ⋯h_n ，最終的預測函式H對分類問題採用投票方式，對迴歸問題採用簡單平均方法對新示例進行判別。

gradient boosting（又叫Mart, Treenet)：Boosting是一種思想，Gradient Boosting是一種實現Boosting的方法，它主要的思想是，每一次建立模型是在之前建立模型損失函式的梯度下降方向。損失函式(loss function)描述的是模型的不靠譜程度，損失函式越大，則說明模型越容易出錯。如果我們的模型能夠讓損失函式持續的下降，則說明我們的模型在不停的改進，而最好的方式就是讓損失函式在其梯度（Gradient)的方向上下降。

Rand forest： 隨機森林，顧名思義，是用隨機的方式建立一個森林，森林裡面有很多的決策樹組成，隨機森林的每一棵決策樹之間是沒有關聯的。在得到森林之後，當有一個新的輸入樣本進入的時候，就讓森林中的每一棵決策樹分別進行一下判斷，看看這個樣本應該屬於哪一類（對於分類演算法），然後看看哪一類被選擇最多，就預測這個樣本為那一類。 在建立每一棵決策樹的過程中，有兩點需要注意 - 取樣與完全分裂。首先是兩個隨機取樣的過程，random forest對輸入的資料要進行行、列的取樣。對於行取樣，採用有放回的方式，也就是在取樣得到的樣本集合中，可能有重複的樣本。假設輸入樣本為N個，那麼取樣的樣本也為N個。這樣使得在訓練的時候，每一棵樹的輸入樣本都不是全部的樣本，使得相對不容易出現over-fitting。然後進行列取樣，從M個feature中，選擇m個(m << M)。之後就是對取樣之後的資料使用完全分裂的方式建立出決策樹，這樣決策樹的某一個葉子節點要麼是無法繼續分裂的，要麼裡面的所有樣本的都是指向的同一個分類。一般很多的決策樹演算法都一個重要的步驟 - 剪枝，但是這裡不這樣幹，由於之前的兩個隨機取樣的過程保證了隨機性，所以就算不剪枝，也不會出現over-fitting。 按這種演算法得到的隨機森林中的每一棵都是很弱的，但是大家組合起來就很厲害了。可以這樣比喻隨機森林演算法：每一棵決策樹就是一個精通於某一個窄領域的專家（因為我們從M個feature中選擇m讓每一棵決策樹進行學習），這樣在隨機森林中就有了很多個精通不同領域的專家，對一個新的問題（新的輸入資料），可以用不同的角度去看待它，最終由各個專家，投票得到結果。

Rand forest與bagging的區別：1）. Rand forest是選與輸入樣本的數目相同多的次數（可能一個樣本會被選取多次，同時也會造成一些樣本不會被選取到），而bagging一般選取比輸入樣本的數目少的樣本；2）. bagging是用全部特徵來得到分類器，而rand forest是需要從全部特徵中選取其中的一部分來訓練得到分類器； 一般Rand forest效果比bagging效果好！

“

（  二  ）原文地址：    http://blog.sina.com.cn/s/blog_5dd2e9270100c8ko.html

“