RF、GBDT、XGboost特徵選擇方法

  RF、GBDT、XGboost都可以做特徵選擇，屬於特徵選擇中的嵌入式方法。比如在sklearn中，可以用屬性feature_importances_去檢視特徵的重要度, 比如：

from sklearn import ensemble
#grd = ensemble.GradientBoostingClassifier(n_estimators=30)
grd = ensemble.RandomForestClassifier(n_estimators=30)
grd.fit(X_train,y_train)
grd.feature_importances_

  但是這三個分類器是如何計算出特徵的重要度呢？下面來分別的說明一下。

1. 隨機森林（Random Forest）

    用袋外資料 (OOB) 做預測。隨機森林在每次重抽樣建立決策樹時，都會有一些樣本沒有被選中，那麼就可以用這些樣本去做交叉驗證，這也是隨機森林的優點之一。它可以不用做交叉驗證，直接用oob _score_去對模型效能進行評估。

    具體的方法就是：

        1. 對於每一棵決策樹，用OOB 計算袋外資料誤差，記為 errOOB1；

        2. 然後隨機對OOB所有樣本的特徵i加入噪聲干擾，再次計算袋外資料誤差，記為errOOB2；

        3. 假設有N棵樹，特徵i的重要性為sum(errOOB2-errOOB1)/N;

    如果加入隨機噪聲後，袋外資料準確率大幅下降，說明這個特徵對預測結果有很大的影響，進而說明它的重要程度比較高

2. 梯度提升樹（GBDT）

    主要是通過計算特徵i在單棵樹中重要度的平均值，計算公式如下：

其中，M是樹的數量。特徵i在單棵樹的重要度主要是通過計算按這個特徵i分裂之後損失的減少值

其中，L是葉子節點的數量，L-1就是非葉子結點的數量。

3. XGboost

    XGboost是通過該特徵每棵樹中分裂次數的和去計算的，比如這個特徵在第一棵樹分裂1次，第二棵樹2次……，那麼這個特徵的得分就是(1+2+...)。