機器學習解釋模型：黑盒VS白盒（附資料連結）

• 準確與“黑盒”：

諸如神經網路，梯度增強模型或複雜集合之類的黑盒模型通常提供很高的準確性。 這些模型的內部工作難以理解，並且它們不能估計每個特徵對模型預測的重要性，也不容易理解不同特徵之間如何相互作用。

• 較弱的“白盒”：

另一方面，諸如線性迴歸和決策樹之類的簡單模型具備較弱的預測能力，並且不總能對資料集的固有複雜性建模（即，特徵互動）。 但是這些卻是很容易被理解和解釋的。

圖片來自Applied.AI

準確性與可解釋性的權衡取決於一個重要的假設，即“可解釋性是模型的固有屬性”。

“可解釋性是模型的固有屬性”

https://www.inference.vc/accuracy-vs-explainability-in-machine-learning-models-nips-workshop-poster-review/

然而，我堅信通過合適的“可解釋性技術”，任何機器學習模型都可以更具解釋性，儘管對於某些模型而言其複雜性和成本比其他模型更高。

在這篇博文中，我將討論一些可用於解釋機器學習模型的不同技術。 此部落格文章的結構和內容主要基於H20.ai機器學習可解釋性小冊子。 如果您想了解更多資訊，我強烈建議閱讀這個H20.ai小冊子或Patrick Hall撰寫的的其他材料！

H20.ai機器學習可解釋性小冊子

Patrick Hall

http://docs.h2o.ai/driverless-ai/latest-stable/docs/booklets/MLIBooklet.pdf

模型屬性

模型的可解釋程度通常與響應函式的兩個屬性相關聯。 模型的響應函式f（x）定義模型的輸入（特徵x）和輸出（目標f（x））之間的輸入 - 輸出關係。 根據機器學習模型，此函式具有以下特徵：

• 線性：線上性響應函式中，特徵與目標之間的關聯表現為線性。 如果一個特徵線性變化，我們也期望目標以相似的速率線性變化。

• 單調性：在單調響應函式中，特徵與目標之間的關係始終在特徵上的一個方向（增大或減小）。 更重要的是，這種關係貫穿於整個特徵域，並且與其他特徵變數無關。

簡單線性和單調響應函式的示例（1個輸入變數x，1個響應變數y）

線性迴歸模型是線性單調函式的例子，而隨機森林和神經網路是表現出高度非線性和非單調響應函式的模型的例子。

Patrick Hall的以下幻燈片說明了為什麼在需要清晰簡單的模型解釋時，通常首選白盒模型（具有線性和單調函式）。 最上面的圖表顯示，隨著年齡的增長，購買數量會增加。 在全域性範圍內響應函式具有線性和單調關係，這容易被所有利益相關者理解。

然而，由於白盒模型的線性和單調約束，趨勢的一個重要部分被忽略了。 通過探索更復雜的機器學習模型，雖然響應函式在區域性範圍內僅是線性和單調的，但是可以更好地擬合觀測資料。 為了解釋模型行為，有必要在區域性範圍內研究該模型。

在全域性範圍或區域性範圍內，模型可解釋性的範圍本質上與模型的複雜性相關。線性模型在整個特徵空間中表現出相同的行為（如上圖所示），因此它們是全域性可解釋的。 輸入和輸出之間的關係通常受到複雜性和區域性解釋的限制（即，為什麼模型在某個資料點做出了某種預測？），而區域性解釋預設為全域性解釋。 

對於更復雜的模型，模型的全域性行為更難定義，並且需要響應函式的小區域的區域性解釋。 這些小區域更可能表現出線性和單調，從而實現更準確的解釋。 

ML庫（例如sk-learn）允許在不同分類器之間進行快速比較。 當資料集的大小和維度受限時，可以解釋結果。 在大多數現實問題中情況將不再如此。

在本博文的其餘部分中，我將重點介紹兩種提供全域性和區域性解釋的模型無關（model-agnostic）技術。 這些技術可以應用於任何機器學習演算法，並且通過分析機器學習模型的響應函式來實現可解釋性。

可解釋性技術

1. 代理模型

代理模型是用於解釋更復雜模型的模型。 通常使用線性模型和決策樹模型，由於它們的簡單解讀。 建立代理模型以表示複雜模型（響應函式）的決策過程，並且是使用輸入和模型預測訓練的模型，而不是在輸入和目標上訓練的模型。

代理模型在非線性和非單調模型之上提供了一個全域性可解釋性的層，但它們不應該被完全依賴。 代理模型不能完美地表示底層響應函式，也不能捕獲複雜的特徵關係。 它們主要用作模型的“全域性總結”。 以下步驟說明了如何為任一黑盒模型構建代理模型：

• 訓練黑盒模型。

• 在資料集上評估黑盒模型。

• 選擇一個可解釋的代理模型（通常是線性模型或決策樹）。

• 在資料集上訓練可解釋模型和其預測。

• 確定代理模型的錯誤度量並解釋代理模型。 

2. LIME

LIME背後的一般思想與代理模型相同。 然而，LIME並不構建代表整個資料集的全域性代理模型，而只構建在區域性區域內解釋預測的區域性代理模型（線性模型）。 有關LIME的更深入解釋，請參閱LIME上的部落格文章。

LIME提供了一種直觀的方法來解釋給定資料點的模型預測。

以下步驟說明了如何為任一黑盒模型構建LIME模型：

• 訓練黑盒模型。

• 區域性感興趣區域的樣本點。樣本點可以從資料集中檢索，或生成人工點。

• 通過接近感興趣區域對新樣本進行加權。在有差異的資料集上擬合加權的，可解釋的（代理）模型。

• 解釋區域性代理模型。

結論

你可以使用這裡的幾種不同技術來提高你的機器學習模型的可解釋性。儘管隨著該領域的進步，這些技術越來越強大，但是一直比較不同的技術是很重要的。我沒有討論的一個技術是Shapley值。要了解更多有關該技術的知識請看Christoph Molnar的書《可解釋的機器學習》（Interpretable Machine Learning）。

Interpretable Machine Learning

Christoph Molnar

https://christophm.github.io/interpretable-ml-book/

原文標題 : 

Black-box vs. white-box models

原文連結：

https://towardsdatascience.com/machine-learning-interpretability-techniques-662c723454f3

吳金笛，雪城大學電腦科學碩士一年級在讀。迎難而上是我最舒服的狀態，動心忍性，曾益我所不能。我的目標是做個早睡早起的Cool Girl。