哪些特徵對我的機器學習模型影響最大？

 

 

http://blog.sina.com.cn/s/blog_cfa68e330102zelh.html

 

 

測量特徵重要性沒有靈丹妙藥，排列重要性是常用的方法之一。與其他技術相比，它具有以下優點。

• 快速計算

• 易於使用和理解

• 它具有我們想要的特徵重要性度量的屬性。

 

它是如何工作的 ？

在訓練機器學習模型之後計算置換重要性。這種技術向訓練有素的模型提出問題，如果我們在保留目標和所有其他列的同時隨機打亂一列驗證資料，那將如何影響預測機器學習模型的準確性呢？

對單個列的隨機打亂應該會導致預測不那麼準確，並且我們遠不及任何實際資料。因此，對於一個具有高度重要性的特徵，這種 random-reshuffle會對機器學習模型預測的準確性造成更大的損害。

Fig.1 Random shuffle of 'Height at age 10(cm)' col

如圖1所示，只有“10歲(cm)時的高度”這一列的值被reshuffled ，而其他列中的值與之前一樣。如果這一列對訓練後的模型非常重要那麼這種reshuffle會嚴重影響效能。

 

Python 程式碼示例

示例資料集是FIFA 2018 Statistics(%202018%20Statistics.csv)，下面你可以看到一個簡單的RandomForestClassifier正在訓練，以預測來自球隊的球員是否贏得了“Man of the match”獎。Python程式碼如下：

import numpy as np


 import pandas as pd


 from sklearn.model_selection import train_test_split


 from sklearn.ensemble import RandomForestClassifier


  


 df = pd.read_csv('FIFA 2018 Statistics.csv')


 y = df['Man of the Match']=='Yes'


 features = [i for i in df.columns if df[i].dtype in [np.int64]]


 X = df[features]


 train_X, val_X, train_y, val_y = train_test_split(X, y, random_state=1)


 model = RandomForestClassifier(random_state=0).fit(train_X, train_y)

然後我們使用'eli5'庫來計算排列重要性，Python程式碼如下：

import eli5


 from eli5.sklearn import PermutationImportance


  


 perm = PermutationImportance(model, random_state=1).fit(val_X, val_y)


 eli5.show_weights(perm, feature_names=val_X.columns.tolist())

 

 

解釋結果

特徵從上到下依次降低。每行中的第一個數字表示透過該特徵的reshuffle 減少了模型效能。第二個數字是特徵列的不同reshuffle 的效能降低的隨機性的度量。