01 機器學習模型不可解釋的原因
前些天在同行交流群裡，有個話題一直在群裡熱烈地討論，那就是 如何解釋機器學習模型 ，因為在風控領域，一個模型如果不能得到很好的解釋一般都不會被通過的，在銀行裡會特別的常見，所以大多數同行都是會用 LR 來建模。但是，機器學習的模型演算法這麼多，不用豈不是很浪費？而且有些演算法還十分好用的，至少在效果上，如XGBoost、GBDT、Adaboost。
那麼，有同學就會問了，為什麼這些演算法會沒有解釋性呢？其實是這樣子的，剛剛所說的那些模型都是一些整合模型，都是由複雜的樹結構去組成的模型，對於人類來說我們很難直觀地去解釋為什麼這個客戶就是爛，到底是什麼特徵導致他爛？
02 特徵重要度方法盤點
其實像XGBoost之類的模型還算是有解釋性的了，我們常常都會看到有人用資訊增益、節點分裂數來衡量特徵的重要度，但是這真的是合理的嗎？
在解釋是否合理前，有2個概念需要先給大家普及一下：
1）一致性
指的是一個模型的特徵重要度，不會因為我們更改了某個特徵，而改變其重要度。比如A模型的特徵X1的重要度是10，那麼如果我們在模型裡給特徵X2加些權重以增大其重要度，重新計算重要度後，特徵X1的重要度仍是10。不一致性可能會導致具有重要度較大的特徵比具有重要度較小的特徵更不重要。
2）個體化
指的是重要度的計算是可以針對個體，而不需要整個資料集一起計算。
好了，有了上面的認識，下面就來盤點一下目前常見的特徵重要度計算的方法：
1）Tree SHAP：即 shapley加法解釋，基於博弈論和區域性解釋的統一思想，通過樹整合和加法方法啟用shap值用於特徵歸因。
2）Saabas：一種個性化啟發式特徵歸因方法。
3）mean(| Tree SHAP |)：基於個性化的啟發式SHAP平均的全域性屬性方法。
4）Gain：即增益，由Breiman等人提出的一種全域性的特徵重要度計算方法，在XGBoost、scikit learn等包中都可以呼叫，它是給定特徵在分裂中所帶來的不純度的減少值，經常會被用來做特徵選擇。
5）Split Count：即分裂次數統計，指的是給定特徵被用於分裂的次數（因為越重要的越容易被引用，和論文引用差不多一個道理吧）。
6）Permutation：即排序置換，指的是隨機排列某個特徵，看下模型效果誤差的變化，如果特徵重要的話，模型誤差會變化得特別大。
其中，屬於個體化的僅有1-2，3-6均屬於全域性性統計，也就是說需要整個資料集進去計算的。
而對於一致性情況，我們有一個例子來證明：
有2個模型，Model A 和 Model B，其中A和B完全一致，但是我們在計算預測值的時候，強行給 Model B 的 特徵 Cough 加上 10分。如下圖所示（點選看大圖）：
從實驗結果可以看出以上6種方法的差別：
1）Saabas、Gain、Split Count均不滿足 一致性 的要求，在改變了某個特徵的權重之後，原先的特徵重要度發生了改變，也直接導致重要度排序的改變。
2）而滿足一致性要求的方法只有 Tree SHAP 和 Permutation了，而Permutation又是全域性的方法，因此就只剩下了 Tree SHAP了。
03 SHAP可能是出路，SHAP到底是什麼
SHAP（Shapley Additive exPlanation）是解釋任何機器學習模型輸出的統一方法。SHAP將博弈論與區域性解釋聯絡起來，根據期望表示唯一可能的一致和區域性精確的加性特徵歸屬方法。
以上是官方的定義，乍一看不知所云，可能還是要結合論文（Consistent Individualized Feature Attribution for Tree Ensembles）來看了。
Definition 2.1. Additive feature attribution methods have an explanation model g that is a linear function of binary variables
M是輸入特徵的個數， ϕi’ 就是特徵的貢獻度。ϕ0 是一個常數（指的是所有樣本的預測均值）。SHAP 值有唯一的解，也具有3個特性：Local Accuracy、Missingness、Consistency。
1）Local Accuracy：即區域性準確性，表示每個特徵的重要度之和等於整個Function的重要度
2）Missingness：即缺失性，表示缺失值對於特徵的重要度沒有貢獻。
3）Consistency：即一致性，表示改變模型不會對特徵的重要度造成改變。
簡單來說，SHAP值可能是唯一能夠滿足我們要求的方法，而我們上面講到的XGBoost、GBDT等都是樹模型，所以這裡會用到 TREE SHAP。
04 SHAP的案例展示
0401 SHAP的安裝
安裝還是蠻簡單的，可以通過終端的pip安裝或者conda安裝
pip install shap
or
conda install -c conda-forge shap0402 對樹整合模型進行解釋性展示
目前TREE SHAP可以支援的樹整合模型有XGBoost, LightGBM, CatBoost, and scikit-learn tree models，可以看看下面的demo：
import xgboost
import shap
# load JS visualization code to notebook
shap.initjs()
"""訓練 XGBoost 模型，SHAP裡提供了相關資料集"""
X,y = shap.datasets.boston()
model = xgboost.train({"learning_rate": 0.01}, xgboost.DMatrix(X, label=y), 100)
"""
通過SHAP值來解釋預測值
(同樣的方法也適用於 LightGBM, CatBoost, and scikit-learn models)
"""
explainer = shap.TreeExplainer(model)
shap_values = explainer.shap_values(X)
# 視覺化解釋性 (use matplotlib=True to avoid Javascript)
shap.force_plot(explainer.expected_value, shap_values[0,:], X.iloc[0,:])output：
上面的圖展示了每個特徵的重要度，會預先計算好一個均值，將預測值變得更高的偏向於紅色這邊，反之藍色。
這個資料集有這些特徵：'CRIM', 'ZN', 'INDUS', 'CHAS', 'NOX', 'RM', 'AGE', 'DIS', 'RAD', 'TAX', 'PTRATIO', 'B', 'LSTAT'
# visualize the training set predictions
shap.force_plot(explainer.expected_value, shap_values, X)output：
上圖可以看出每個特徵之間的相互作用（輸出圖是可以互動的）。
但是為了理解單個特性如何影響模型的輸出，我們可以將該特性的SHAP值與資料集中所有示例的特性值進行比較。由於SHAP值代表了模型輸出中的一個特性的變化，下面的圖代表了預測的房價隨著RM(一個區域中每棟房子的平均房間數)的變化而變化的情況。
單一RM值的垂直色散表示與其他特徵的相互作用。要幫助揭示這些互動依賴關係，dependence_plot 自動選擇 另一個特徵來著色。比如使用RAD著色，突顯了RM（每戶平均房數）對RAD的值較高地區的房價影響較小。
"""建立一個SHAP圖用於展示 單一特徵在整個資料集的表現情況，每個點代表一個樣本"""
shap.dependence_plot("RM", shap_values, X)output：
為了得到整體水平上每個特徵的重要度情況，我們可以畫出所有特徵對於所有sample的SHAP值，然後根據SHAP值之和來降序排序，顏色代表特徵重要度（紅色代表高，藍色代表低），每個點代表一個樣本。
"""畫出所有特徵的重要度排序圖"""
shap.summary_plot(shap_values, X)output:
我們也可以只是顯示SHAP值的所有樣本的均值，畫出bar圖。
shap.summary_plot(shap_values, X, plot_type="bar")output:
References
[1] A Unified Approach to Interpreting Model Predictions
http://papers.nips.cc/paper/7...
[2] Consistent Individualized Feature Attribution for Tree Ensembles
https://arxiv.org/pdf/1802.03...
[3] Interpretable Machine Learning
https://christophm.github.io/...
[4] shap 官方文件
https://github.com/slundberg/...
本文由部落格一文多發平臺 OpenWrite 釋出！