如何確定AI更值得信任？此處需@XAI……

全文共 1925字，預計學習時長 4分鐘

你是否對機器學習模型如何工作感到好奇？這些模型內部是如何運作的，它們是否值得信任？

本文將全面概述什麼是可解釋人工智慧（XAI），以及為什麼需要XAI。讀完本文後，你應該能夠理解XAI的必要性，並且可以考慮是否需要將其應用到ML專案或產品中去。

什麼是XAI？

可解釋人工智慧（XAI）是機器學習中一個相當新的領域。在這個領域中，研究者試圖開發一款新模型，來解釋機器學習（ML）模型背後的決策過程。

XAI有許多不同的研究分支，但總的來說，要麼是試圖解釋複雜的黑箱模型的結果，要麼試圖將可解釋性納入當前的模型體系結構中。第一種方法被研究者廣泛採用，這種方法不考慮試模型的基本體系，只試圖解釋ML模型做了什麼。被稱為模型不可知的XAI。

為什麼需要XAI？

我們可以舉例來說明。隨著當前深度學習（DL）的發展，對於DL模型來說，擁有幾百萬個引數是非常典型的！將這些引數與已經使用了幾十年的簡單線性迴歸模型進行比較，就會理解DL模型到底有多複雜。

事實上，DL模型已經對很多行業產生了巨大的影響，但其中許多仍然被用作黑箱系統。這並不是一件好事，尤其是用這些模型來作出能夠產生巨大社會影響的決策時。

XAI解決了什麼問題？

XAI試圖回答三種不同型別的問題：為什麼？什麼時候？怎麼做？如果在開發ML產品時遇到以這三個關鍵詞提問的問題時，就可能需要求助於XAI。以下是在ML專案中遇到的一些典型問題：

· 為什麼ML模型會做出這樣的預測？

· 什麼時候能相信這個模型的預測？

· 什麼時候這個模型會做出錯誤的預測？

· 怎麼做能糾正這個模型的錯誤？

回答這些問題，需要將XAI模型/概念融合到M1專案/產品中去。

什麼時候需要XAI？

在每個ML專案中，某種程度上，可能需要向客戶或同事提供ML模型的決策過程。XAI在ML的應用中至關重要，ML系統的決策直接影響人們的生活，對社會產生巨大影響。

一些人可能會認為，在大多數情況下，最終的決定是由人們做出的。但是，許多專家會使用複雜的ML系統來幫助他們做決定。如果ML系統不能解釋它做決定的原理，那麼對於專家來說，就很難信任ML系統，並且會存在風險！

XAI有哪些的常見用例？

目前，AI/ML正在使用的所有領域都有XAI用例！本文不會列出所有用例，而是用兩個例子來說明，當ML模型的決策嚴重影響人們的生活時，為什麼需要XAI，以及如何使用XAI。以下例子來源於醫學和金融領域。

用例一：為什麼醫學ML應用需要XAI？

假設一個病人去醫院檢查她/他是否患有癲癇。醫生將病人腦部的核磁共振影像輸入到一個複雜的ML模型中，生成的報告以85%的置信度診斷病人患有癲癇。以下是醫生可能會問的一些問題：

· 我要怎麼相信這個模型的報告呢？

· 模型是基於核磁共振影像的哪些特徵，做出了這個決定？

· ML模型做出這個決定的方式對我有意義嗎？我怎麼知道這個模型的決策過程是什麼？

· 如果這份報告是錯誤的，或者模型的決策過程不夠準確，該怎麼辦？

此外還有很多問題！可以看出，除非ML模型的決策過程被呈現出來，並且可以被驗證，否則醫生並不會信任模型的決策結果。

用例二：為什麼金融ML應用需要XAI？

假設一個人去金融機構申請住房貸款。金融機構會使用複雜的ML模型來獲取客戶的家庭人口和金融歷史等資訊，並建立一份報告，來說明客戶是否有資格獲得貸款。

如果該客戶運氣不佳，系統認定他/她沒有資格獲得貸款。那麼問題是使用這個系統的商業人士能否信任該模型的決定。這與前面的例子中面臨的問題相同。以下是使用該模型的商業人士可能會問的一些問題：

· 如果客戶問為什麼他/她的貸款申請被拒絕，我該怎麼回答呢？

· ML模型能解釋和證實其決策過程，以便我們向客戶報告嗎？

· 在什麼情況下，這個模型不能做出正確的預測？我們是否會因為信任ML模型決策而失去一個忠誠的客戶？

此外也還有很多問題！如果一家公司使用複雜的ML模型，並且這些模型的決策對他們的客戶有很大影響，那麼就可能會出現很多問題。

XAI的未來是什麼？

XAI的未來很難預測，因為這是AI/ML領域的一個相當新的領域，許多研究人員還正在積極研究新的XAI模型。然而，可以基於當前的研究趨勢和行業需求對XAI模型進行預測。幾年後，當XAI模式在各行業的應用變得更加成熟時，可能會發生以下情況：

· ML模型將能夠解釋自身的結果！（可以將其想象成《西部世界》裡的機器人能夠進行“分析”）

· 更多可解釋的模型會產生，使用者可與其互動並修改（或改進）結果。

· 因為模型是可解釋的，並且可以知道它是如何做出決定的，所以使用者也許能夠將自身知識注入模型！

在哪裡可以學習更多關於XAI的知識？

網上有很多可供學習的線上材料。可解釋ML手冊（

https://christophm.github.io/interpretable-ml-book/）是對XAI當前方法的總體概述，如果你還不熟悉這個領域，這個手冊將是一個好的入門。美國國防部高階研究計劃局（DARPA）公佈了一份關於XAI使用的規劃圖（https://www.darpa.mil/attachments/XAIProgramUpdate.pdf），展示了他們在不同XAI模型和方法上的工作計劃，以及如何將XAI應用於ML模型。

https://www.toutiao.com/a6728565544158495246/

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/69946223/viewspace-2654846/，如需轉載，請註明出處，否則將追究法律責任。