我們能不能相信人工智慧？

眾所周知，計算機很多時候可以給我們的問題一個很好的答案，但我們並不理解它是如何得到這些答案的。Been Kim一直在開發一個“面向人類的翻譯器（translator for humans）”，這樣我們就可以知道人工智慧何時會失效。

如果一個醫生告訴你需要做手術，你會想知道為什麼，而且你會期望自己可以理解這個解釋，即使你從未上過醫學院。谷歌大腦（Google Brain）的科學家Kim認為，我們應該對人工智慧抱有更高的期望。作為“可解釋”機器學習(“interpretable” machine learning)的專家，她希望開發能夠向任何人解釋自己的人工智慧軟體。

自從大約十年前人工智慧興起以來，人工智慧背後的神經網路技術使用其日益強大的學習和識別資料模式的能力，已經改變了從電子郵件到藥物開發的每一件事。但這種能力帶來了一個問題：現代深度學習網路的複雜性使之能夠成功地學會如何駕駛汽車和發現保險欺詐，但即便是人工智慧專家也無法瞭解它內部工作的機制。如果一個神經網路被訓練來識別像肝癌和精神分裂症這樣的病人——就像2015年紐約西奈山醫院的“深度病人(Deep Patient)”系統一樣——我們不知道神經網路關注的是資料的哪些特徵。這種“知識”被加諸於許多層的人工神經元上，每層都有成百上千的連線。

隨著越來越多的行業試圖用人工智慧實現自動化或增強他們的決策能力，這種黑箱理論似乎顯示出根本性的缺陷。美國國防部高階研究計劃局(DARPA)的“XAI”專案（用於“可解釋的人工智慧”）正在積極研究這個問題，可解釋性已經從機器學習研究的邊緣轉移到了它的中心。Kim說：“人工智慧正處於這個關鍵時刻，人類正試圖考察這項技術是否對我們有益。”“如果我們不解決這一可解釋性問題，我認為我們就不應該繼續使用這項技術。我們可能會放棄它。”

Kim和她在Google Brain的同事最近開發了一個名為“概念啟用向量測試（TCAV）”的系統，她將其描述為“面向人類的翻譯器”，該系統允許使用者詢問黑匣子人工智慧一個特定的高層次概念在其推理中發揮了多大作用。例如，如果一個機器學習系統已經被訓練識別影像中的斑馬，那麼一個人可以使用TCAV來確定系統在做出決定時對“條紋”概念給予了多少權重。

可解釋性是什麼意思，它為什麼如此重要，Kim一一給出瞭解答。

“可解釋性”這個詞到底是什麼意思？

可解釋性有兩個分支。一種是科學的可解釋性：如果你把神經網路作為研究物件，那麼你就可以進行科學實驗來真正理解關於模型的細節、它的反應以及諸如此類的事情。

可解釋性還有第二個分支，我主要關注的是人工智慧的可解釋性。你不必瞭解模型的每一個細節。但是，只要你能夠理解並足夠安全地使用該工具就可以了，這就是我們的目標。

你為什麼能對一個你不完全理解其工作原理的系統有信心呢？

我給你打個比方。假設我後院有一棵樹，我想砍掉它。我可能會用電鋸來做這項工作。現在，我不完全理解電鋸是如何工作的。但手冊上說，“這些是你需要小心的事情，以免割到你的手指。”所以，根據這本手冊，我寧願用電鋸也不願用手鋸，手鋸的原理容易理解，但會讓我花五個小時來砍樹。

你知道“切割”是什麼，即使你不完全知道完成這個動作的機制是什麼。

對。第二個可解釋性的第二個分支是：我們能充分理解一個工具，以便安全地使用它嗎？我們可以透過確認工具中反映出的人類已有的知識來形成這種理解。

“反映人類知識”如何使人工智慧更容易理解？

這有另一個例子。如果醫生使用機器學習模型來進行癌症診斷，醫生會想知道，該模型有沒有利用資料中我們不想涉及的隨機性。確保這一點的一種方法是確認機器學習模型正在做醫生會做的事情。換句話說，證明醫生自己的診斷知識已經反映在模型中。

因此，如果醫生在判斷一個細胞是否變成了癌細胞，他們可能會在標本中尋找一種叫做“融合腺（fused glands）”的東西。他們還可以考慮患者的年齡，以及患者過去是否接受過化療。這些都是醫生診斷癌症時關心的因素。如果我們能證明機器學習模型也注意到了這些因素，那麼模型就更容易理解了，因為它反映了醫生作為人類會具備的知識。

這就是TCAV所做的嗎？它揭示了機器學習模型使用哪些高階概念來做出決策？

對。在此之前，可解釋性方法只解釋了在輸入資料的特徵上，神經網路做了什麼工作。也就是說，如果您有影像，每個畫素都是一個輸入引數。事實上，Yann Lecun（一位早期的深度學習先驅，目前是Facebook的人工智慧研究主管）說，你可以檢視神經網路中的每個節點，並檢視每個輸入的數值。這對電腦來說沒問題，但人類不會這樣做。我不會告訴你，“哦，看看100到200畫素，RGB值是0.2和0.3。”我只會說，“有一張狗的照片，它的毛髮真的很蓬鬆。”這就是人類交流的方式——利用概念。

TCAV如何把輸入的資料轉化成概念？

讓我們回到使用機器學習模型的醫生的那個例子，這個機器學習模型已經被訓練為將細胞樣本的影像按照可能存在的癌症分類。作為醫生，你可能想知道“融合腺體”的概念對預測癌症有多重要。首先，你收集一些影像，比如20個，其中有一些含有融合腺體的細胞。現在你將這些標記的示例插入模型中。

那麼TCAV內部所做的就是所謂的“敏感性測試”，當我們將這些包含融合腺體的圖片放入模型，癌症陽性預測的機率會增加多少？你可以將其輸出為一個介於0和1之間的數字，這是你的TCAV得分。如果機率增加，證明這是模型的一個重要概念。如果沒有，這就不是一個重要的概念。

“概念”是一個模糊的術語。有沒有TCAV不能處理的概念？

如果你不能使用資料表達你的概念，那麼它將無法工作。如果你的機器學習模型是在影像上訓練的，那麼這個概念必須是視覺化的。比如說，我想用視覺表達“愛”的概念，這真的很難。

TCAV本質上是為了建立對人工智慧的信任，而不是真正的理解它嗎？

不是，我們從認知科學和心理學的研究中知道，人類很容易上當受騙。這意味著欺騙一個人去相信某件事其實很容易。機器學習可解釋性的目標與此相反。它告訴你一個系統是否安全，重要的是找到真相而不是建立信任。可解釋性的重點是揭示人工智慧推理中的潛在缺陷。

它怎麼能暴露自己的缺陷？

你可以使用TCAV向經過訓練的模型測試相關的概念。回到醫生使用人工智慧進行癌症預測的例子，醫生們可能會突然想，“這臺機器似乎傾向於對帶有藍色陰影的影像給出患有癌症的預測。我們認為不應該考慮這一因素。”因此，如果帶有“藍色”的TCAV分數很高，這就成為這個機器學習模型的一個缺陷。

TCAV是針對無法解釋的機器學習模型設計的。為什麼不讓系統從一開始就可以解釋呢？

可解釋性研究的一個分支，側重於建立反映人類推理方式的固有可解釋模型。但我的看法是：現在你在任何地方都有人工智慧模型，這些模型已經被構建，並且已經得到重要應用，而從一開始我們就沒有考慮過可解釋性。這就是事實。谷歌就有很多這樣的情況！你可以說，“可解釋性是非常有用的，讓我為你建立另一個模型來取代你已有的模型。”那好吧，祝你好運。

那你怎麼辦？

我們仍然需要判斷這項技術是否適合我們。這就是我為什麼研究“後訓練（Posttraining）”的可解釋性方法。如果你有一個別人給你的模型，而你不能改變它，你如何去為它的行為生成解釋，以便你可以安全地使用它？這就是TCAV工作的意義所在。

你相信如果沒有可解釋性，人類可能會放棄人工智慧技術嗎？ 考慮到它的強大功能，你真的認為這是現實的可能性嗎？

是的。專家系統（智慧計算機程式系統）就是這樣。在20世紀80年代，我們確定他們比人工操作人員執行某些任務更便宜。但現在誰在使用專家系統呢？沒有人。之後我們進入了人工智慧的冬天。

因為人工智慧鋪天蓋地的宣傳和資金的大量投入，現在看起來不太可能放棄人工智慧。但從長遠來看，我認為人類可能發現——也許是出於恐懼，也許是因為缺乏證據——這項技術不適合我們。這也是可能的。