Good Explanation
那就要先解釋一下什麼是一個 Good Explanation
關於什麼是Explanation，miller曾經給出一個回答，對於一個why型別問題的回答的解釋：
- 為什麼治療對患者無效？
- 為什麼我的貸款被拒絕？
- 為什麼外星生命還沒有聯絡到我們？
前兩個問題可以用“日常”的解釋來回答，而第三個問題來自“更一般的科學現象和哲學問題”類別。我們關注於“日常”型別的解釋，因為這些解釋與可解釋的機器學習相關。以“如何”作為開頭的問題通常可以改為“為什麼”問題：“我的貸款是如何被拒絕的？”可以改為“為什麼我的貸款被拒絕的？”。“Explanation”一詞指解釋的社會和認知過程，但也指這些過程的產物。解釋者可以是人，也可以是機器。
關於什麼是一個好的解釋，這裡進一步濃縮了米勒關於“好的”解釋的總結，併為可解釋的機器學習新增了具體含義。
解釋是對比的：人類通常不會問為什麼會做出某個預測，而是問為什麼會做出這個預測而不是另一個預測。我們傾向於在反事實的情況下思考，即“如果輸入X不同，預測結果會如何？”。對於房價預測，房主可能會感興趣的是，為什麼預測價格高於他們預期的較低價格。如果我的貸款申請被拒絕，我不想聽到所有支援或反對拒絕的因素。我對申請中需要更改才能獲得貸款的因素感興趣。我想知道我的申請和我的申請被接受的版本之間的對比。認識到對比解釋的重要性是可解釋機器學習的一個重要發現。從大多數可解釋模型中，您可以提取一種解釋，該解釋將例項預測與人工資料例項預測或例項平均值進行隱式對比。醫生可能會問：“為什麼藥物對我的病人不起作用？”。他們可能需要一個解釋，將他們的患者與藥物有效的患者以及與無反應患者相似的患者進行對比。對比解釋比完整解釋更容易理解。對於醫生提出的藥物不起作用的問題的完整解釋可能包括：患者已患此病10年，11個基因過度表達，患者身體很快將藥物分解為無效化學物質。。。對比解釋可能要簡單得多：與有反應的患者相比，無反應的患者有某種基因組合，使藥物的療效降低。最好的解釋是強調感興趣的物件和參考物件之間的最大差異。
它對可解釋機器學習意味著什麼：人類不希望對一個預測有一個完整的解釋，但希望將差異與另一個例項的預測（可以是人工預測）進行比較。建立對比解釋取決於應用程式，因為它需要一個比較參考點。這可能取決於要解釋的資料點，但也取決於接收解釋的使用者。房價預測網站的使用者可能希望對房價預測做出解釋，並將其與自己的房子、網站上的另一所房子或附近的普通房子進行對比。自動建立對比解釋的解決方案可能還包括在資料中找到原型或原型。
選擇性的解釋：人們不希望解釋涵蓋事件的實際和完整原因列表。我們習慣於從各種可能的原因中選擇一個或兩個原因作為解釋。作為證據，開啟電視新聞：“股價下跌被歸咎於由於最新軟體更新出現問題而對該公司產品越來越強烈的反彈。”
“對現有機構和我們的政府越來越不信任是降低投票率的主要因素。”一個事件可以由各種原因解釋的事實被稱為Rashomon Effect.。《羅生門》是一部日本電影，講述了關於武士之死的另類、矛盾的故事（解釋）。對於機器學習模型來說，如果能從不同的特徵中做出良好的預測，這是有利的。將具有不同特徵（不同解釋）的多個模型組合在一起的整合方法通常表現良好，因為對這些“故事”進行平均可以使預測更加穩健和準確。但這也意味著，為什麼做出某個預測，有不止一種選擇性的解釋。
它對可解釋機器學習的意義：讓解釋非常簡短，只給出1到3個理由，即使世界更復雜。
解釋是社會性的：它們是解釋者和解釋接受者之間對話或互動的一部分。社會背景決定了解釋的內容和性質。如果我想向一位技術人員解釋數字加密貨幣為何如此值錢，我會說這樣的話：“分散、分散式、基於區塊鏈的分類賬，不能由一箇中央實體控制，與那些希望獲得財富的人產生共鳴，這解釋了高需求和高價格。”但我想對我的祖母說：“聽著，祖母：加密貨幣有點像電腦黃金。人們喜歡併為黃金付出很多，而年輕人喜歡併為電腦黃金付出很多。”
這對可解釋機器學習意味著什麼：關注機器學習應用程式的社會環境和目標受眾。正確使用機器學習模型的社交部分完全取決於您的具體應用。找人文學科的專家（如心理學家和社會學家）來幫助你。
解釋的重點是異常情況。人們更關注異常原因來解釋事件。這些原因的可能性很小，但仍然發生了。消除這些異常原因將極大地改變結果（反事實解釋）。人類認為這些“異常”的原因是很好的解釋。來自Štrumbelj和Kononenko（2011）的一個例子：假設我們有一個教師和學生之間的測試情境資料集。學生參加課程，並在成功完成演示後直接通過課程。教師可以選擇另外向學生提問，以測試他們的知識。不能回答這些問題的學生將不及格。學生可以有不同程度的準備，這意味著正確回答老師問題的概率不同（如果他們決定測試學生）。我們想預測一個學生是否會通過這門課程，並解釋我們的預測。如果老師沒有提出任何額外的問題，那麼通過的概率是100%，否則通過的概率取決於學生的準備水平和正確回答問題的概率。
情景1：老師通常會問學生額外的問題（例如，100次中有95次）。一個沒有學習的學生（有10%的機會通過問題部分）不是幸運的學生，他得到的額外問題沒有正確回答。這個學生為什麼不及格？我認為不學習是學生的錯。
情景2：老師很少問額外的問題（例如，100次中有2次）。對於一個沒有學習過這些問題的學生，我們預測通過課程的概率很高，因為不太可能有問題。當然，其中一名學生沒有準備問題，這給了他10%的通過問題的機會。他很不走運，老師又問了一些學生回答不了的問題，結果他不及格。失敗的原因是什麼？我認為現在更好的解釋是“因為老師測試了學生”。老師不太可能參加考試，所以老師的行為不正常。
它對可解釋機器學習意味著什麼：如果預測的一個輸入特徵在任何意義上是異常的（如分類特徵的罕見類別），並且該特徵影響了預測，則應將其包括在解釋中，即使其他“正常”特徵對預測的影響與異常特徵相同。在我們的房價預測示例中，一個不正常的特徵可能是一棟相當昂貴的房子有兩個陽臺。即使某些歸因方法發現，這兩個陽臺對價格差異的貢獻與高於平均水平的房子大小、良好的鄰里關係或最近的裝修一樣大，但“兩個陽臺”這一反常特徵可能是解釋房子如此昂貴的最佳解釋。
解釋是真實的。好的解釋在現實中被證明是正確的（即在其他情況下）。但令人不安的是，這並不是“好”解釋的最重要因素。例如，選擇性似乎比真實性更重要。僅選擇一個或兩個可能原因的解釋很少涵蓋所有相關原因。選擇性忽略了部分真相。例如，導致股市崩盤的並非只有一兩個因素，但事實是，有數百萬個原因影響著數百萬人的行為，最終導致了崩盤。
對可解釋的機器學習來說意味著什麼：解釋應該儘可能真實地預測事件，在機器學習中這有時被稱為忠實。因此，如果我們說第二個陽臺提高了房子的價格，那麼這也應該適用於其他房子（或者至少適用於類似的房子）。對人類來說，解釋的忠實性不如其選擇性、對比性和社會方面重要。
好的解釋與被解釋者先前的信念是一致的。人類傾向於忽略與他們先前的信仰不一致的資訊。這種效應稱為確認偏差。這種偏見並不能免除解釋的責任。人們會傾向於貶低或忽視與他們的信仰不一致的解釋。這套信仰因人而異，但也有基於群體的先前信仰，如政治世界觀。
它對可解釋機器學習意味著什麼：好的解釋與先前的信念是一致的。這很難整合到機器學習中，並且可能會嚴重影響預測效能。我們先前認為，房屋規模對預測價格的影響是，房屋越大，價格越高。讓我們假設一個模型也顯示了房屋規模對一些房屋的預測價格的負面影響。該模型之所以瞭解到這一點，是因為它提高了預測效能（由於一些複雜的互動作用），但這種行為與我們之前的信念強烈矛盾。您可以強制執行單調性約束（特徵只能在一個方向上影響預測），或者使用具有此屬性的線性模型之類的東西。
好的解釋是普遍的和有多種可能的。一個可以解釋許多事件的原因是非常普遍的，可以被認為是一個很好的解釋。請注意，這與異常原因可以做出很好解釋的說法相矛盾。在我看來，非正常原因勝過一般原因。根據定義，異常原因在給定場景中很少見。在沒有異常事件的情況下，一般解釋被認為是良好的解釋。還要記住，人們往往會誤判聯合事件的概率。一個很好的例子是“房子之所以昂貴是因為它很大”，這是一個非常籠統、很好的解釋，解釋了為什麼房子貴或便宜。
它對可解釋機器學習的意義：通用性可以很容易地通過特徵的支援來衡量，即解釋適用的例項數除以例項總數。
Linear Model
那麼關於線性模型是否真的能給出一個很好的解釋這個問題：
從構成良好解釋的屬性來看，線性模型不能產生好的解釋。它們是對比的，但參考例項是一個資料點，其中所有數字特徵為零，分類特徵位於其參考類別。這通常是一個人工的、無意義的例項，在您的資料或現實中不太可能發生。有一個例外：如果所有數字特徵均以平均值為中心（特徵減去特徵的平均值），且所有分類特徵均為效應編碼，則參考例項是所有特徵均採用平均特徵值的資料點。這也可能是一個不存在的資料點，但它至少可能更有可能或更有意義。在這種情況下，權重乘以特徵值（特徵效應）解釋了相對於“平均例項”對預測結果的貢獻。一個好的解釋的另一個方面是選擇性，這可以通過使用較少的特徵或訓練稀疏的線性模型線上性模型中實現。但預設情況下，線性模型不會建立選擇性解釋。只要線性方程是特徵和結果之間關係的合適模型，線性模型就能做出真實的解釋。非線性和相互作用越多，線性模型就越不準確，解釋也就越不真實。線性使解釋更一般、更簡單。我認為，模型的線性本質是人們使用線性模型來解釋關係的主要因素。