XGBoost 輸出特徵重要性以及篩選特徵
1.輸出XGBoost特徵的重要性
from matplotlib import pyplot
pyplot.bar(range(len(model_XGB.feature_importances_)), model_XGB.feature_importances_)
pyplot.show()
XGBoost 特徵重要性繪圖
也可以使用XGBoost內建的特徵重要性繪圖函式
# plot feature importance using built-in function
from xgboost import plot_importance
plot_importance(model_XGB)
pyplot.show()
XGBoost 內建的特徵重要性繪圖
2.根據特徵重要性篩選特徵
from numpy import sort
from sklearn.feature_selection import SelectFromModel
# Fit model using each importance as a threshold
thresholds = sort(model_XGB.feature_importances_)
for thresh in thresholds:
# select features using threshold
selection = SelectFromModel(model_XGB, threshold=thresh, prefit=True)
select_X_train = selection.transform(X_train)
# train model
selection_model = XGBClassifier()
selection_model.fit(select_X_train, y_train)
# eval model
select_X_test = selection.transform(X_test)
y_pred = selection_model.predict(select_X_test)
predictions = [round(value) for value in y_pred]
accuracy = accuracy_score(y_test, predictions)
print("Thresh=%.3f, n=%d, Accuracy: %.2f%%" % (thresh, select_X_train.shape[1],
accuracy*100.0))
XGBoost 篩選特徵
參考:https://blog.csdn.net/u011630575/article/details/79423162
相關文章
- XGBoost學習(六):輸出特徵重要性以及篩選特徵特徵
- 【特徵工程】(資料)使用Xgboost篩選特徵重要性特徵工程
- xgboost 特徵選擇,篩選特徵的正要性特徵
- xgboost特徵重要性特徵
- xgboost輸出特徵重要性排名和權重值特徵
- xgboost 特徵重要性選擇 / 看所有特徵哪個重要特徵
- 機器學習之 基於xgboost的特徵篩選機器學習特徵
- xgboost 特徵重要性計算特徵
- xgboost特徵選擇特徵
- 使用xgboost進行特徵選擇特徵
- 用xgboost獲取特徵重要性及應用特徵
- xgboost模型特徵重要性的不同計算方式模型特徵
- 用xgboost模型對特徵重要性進行排序模型特徵排序
- RF、GBDT、XGboost特徵選擇方法特徵
- 用xgboost獲取特徵重要性原理及實踐特徵
- 【演算法】關於xgboost特徵重要性的評估演算法特徵
- [特徵工程系列一] 論特徵的重要性特徵工程
- 使用XGboost模組XGBClassifier、plot_importance來做特徵重要性排序Import特徵排序
- 特徵工程之特徵選擇特徵工程
- 機器學習 特徵工程之特徵選擇機器學習特徵工程
- 特徵工程 特徵選擇 reliefF演算法特徵工程演算法
- 特徵選擇和特徵生成問題初探特徵
- 特徵值與特徵向量特徵
- 特徵提取之Haar特徵特徵
- 特徵值和特徵向量特徵
- 特徵工程:互動特徵與多項式特徵理解特徵工程
- 特徵工程之特徵表達特徵工程
- 影象特徵提取之HoG特徵特徵HOG
- 特徵值 和 特徵向量,thrive特徵
- 特徵選擇技術總結特徵
- 專欄 | 基於 Jupyter 的特徵工程手冊:特徵選擇(一)特徵工程
- 專欄 | 基於 Jupyter 的特徵工程手冊:特徵選擇(二)特徵工程
- 專欄 | 基於 Jupyter 的特徵工程手冊:特徵選擇(三)特徵工程
- 專欄 | 基於 Jupyter 的特徵工程手冊:特徵選擇(四)特徵工程
- 專欄 | 基於 Jupyter 的特徵工程手冊:特徵選擇(五)特徵工程
- 08 特徵工程 - 特徵降維 - LDA特徵工程LDA
- 影像特徵計算——紋理特徵特徵
- 特徵工程之特徵預處理特徵工程