如何確定AI更值得信任?此處需@XAI……

AIBigbull2050發表於2019-08-25



全文共 1925字,預計學習時長 4分鐘
如何確定AI更值得信任?此處需@XAI……

圖片來源:unsplash.com/@multamedia


你是否對機器學習模型如何工作感到好奇?這些模型內部是如何運作的,它們是否值得信任?


本文將全面概述什麼是可解釋人工智慧(XAI),以及為什麼需要XAI。讀完本文後,你應該能夠理解XAI的必要性,並且可以考慮是否需要將其應用到ML專案或產品中去。


什麼是XAI?


可解釋人工智慧(XAI)是機器學習中一個相當新的領域。在這個領域中,研究者試圖開發一款新模型,來解釋機器學習(ML)模型背後的決策過程。


XAI有許多不同的研究分支,但總的來說,要麼是試圖解釋複雜的黑箱模型的結果,要麼試圖將可解釋性納入當前的模型體系結構中。第一種方法被研究者廣泛採用,這種方法不考慮試模型的基本體系,只試圖解釋ML模型做了什麼。被稱為模型不可知的XAI。


為什麼需要XAI?


我們可以舉例來說明。隨著當前深度學習(DL)的發展,對於DL模型來說,擁有幾百萬個引數是非常典型的!將這些引數與已經使用了幾十年的簡單線性迴歸模型進行比較,就會理解DL模型到底有多複雜。


事實上,DL模型已經對很多行業產生了巨大的影響,但其中許多仍然被用作黑箱系統。這並不是一件好事,尤其是用這些模型來作出能夠產生巨大社會影響的決策時。


XAI解決了什麼問題?


XAI試圖回答三種不同型別的問題:為什麼?什麼時候?怎麼做?如果在開發ML產品時遇到以這三個關鍵詞提問的問題時,就可能需要求助於XAI。以下是在ML專案中遇到的一些典型問題:


· 為什麼ML模型會做出這樣的預測?

· 什麼時候能相信這個模型的預測?

· 什麼時候這個模型會做出錯誤的預測?

· 怎麼做能糾正這個模型的錯誤?


回答這些問題,需要將XAI模型/概念融合到M1專案/產品中去。


什麼時候需要XAI?


在每個ML專案中,某種程度上,可能需要向客戶或同事提供ML模型的決策過程。XAI在ML的應用中至關重要,ML系統的決策直接影響人們的生活,對社會產生巨大影響。


一些人可能會認為,在大多數情況下,最終的決定是由人們做出的。但是,許多專家會使用複雜的ML系統來幫助他們做決定。如果ML系統不能解釋它做決定的原理,那麼對於專家來說,就很難信任ML系統,並且會存在風險!


XAI有哪些的常見用例?


目前,AI/ML正在使用的所有領域都有XAI用例!本文不會列出所有用例,而是用兩個例子來說明,當ML模型的決策嚴重影響人們的生活時,為什麼需要XAI,以及如何使用XAI。以下例子來源於醫學和金融領域。


用例一:為什麼醫學ML應用需要XAI?


假設一個病人去醫院檢查她/他是否患有癲癇。醫生將病人腦部的核磁共振影像輸入到一個複雜的ML模型中,生成的報告以85%的置信度診斷病人患有癲癇。以下是醫生可能會問的一些問題:


· 我要怎麼相信這個模型的報告呢?

· 模型是基於核磁共振影像的哪些特徵,做出了這個決定?

· ML模型做出這個決定的方式對我有意義嗎?我怎麼知道這個模型的決策過程是什麼?

· 如果這份報告是錯誤的,或者模型的決策過程不夠準確,該怎麼辦?


此外還有很多問題!可以看出,除非ML模型的決策過程被呈現出來,並且可以被驗證,否則醫生並不會信任模型的決策結果。

如何確定AI更值得信任?此處需@XAI……

醫學應用中的癲癇檢測系統


用例二:為什麼金融ML應用需要XAI?


假設一個人去金融機構申請住房貸款。金融機構會使用複雜的ML模型來獲取客戶的家庭人口和金融歷史等資訊,並建立一份報告,來說明客戶是否有資格獲得貸款。


如果該客戶運氣不佳,系統認定他/她沒有資格獲得貸款。那麼問題是使用這個系統的商業人士能否信任該模型的決定。這與前面的例子中面臨的問題相同。以下是使用該模型的商業人士可能會問的一些問題:


· 如果客戶問為什麼他/她的貸款申請被拒絕,我該怎麼回答呢?

· ML模型能解釋和證實其決策過程,以便我們向客戶報告嗎?

· 在什麼情況下,這個模型不能做出正確的預測?我們是否會因為信任ML模型決策而失去一個忠誠的客戶?


此外也還有很多問題!如果一家公司使用複雜的ML模型,並且這些模型的決策對他們的客戶有很大影響,那麼就可能會出現很多問題。

如何確定AI更值得信任?此處需@XAI……

金融應用中使用的貸款模型


XAI的未來是什麼?


XAI的未來很難預測,因為這是AI/ML領域的一個相當新的領域,許多研究人員還正在積極研究新的XAI模型。然而,可以基於當前的研究趨勢和行業需求對XAI模型進行預測。幾年後,當XAI模式在各行業的應用變得更加成熟時,可能會發生以下情況:


· ML模型將能夠解釋自身的結果!(可以將其想象成《西部世界》裡的機器人能夠進行“分析”)

· 更多可解釋的模型會產生,使用者可與其互動並修改(或改進)結果。

· 因為模型是可解釋的,並且可以知道它是如何做出決定的,所以使用者也許能夠將自身知識注入模型!


在哪裡可以學習更多關於XAI的知識?


網上有很多可供學習的線上材料。可解釋ML手冊(




來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69946223/viewspace-2654846/,如需轉載,請註明出處,否則將追究法律責任。

相關文章