谷歌大腦開發機器思維的“人類翻譯器”，打破AI“黑盒”新方式

大資料文摘出品

來源：quantamagazine.org

編譯：Ivy、李雷、小七、雲舟

如果一個醫生告訴你需要做手術，你肯定會想知道為什麼，進一步地，你會希望他給你一個就算沒學過醫也能聽得懂的明確解釋。谷歌大腦（Google Brain）的研究科學家Been Kim認為，我們應該對人工智慧抱有同樣的期望。作為“可解釋”機器學習的專家，她希望構建一個能夠向任何人解釋人工智慧的軟體。

自從十年前人工智慧興起以來，人工智慧中的神經網路技術已經從電子郵件滲透到了藥物研究等各個方面，它具有越來越強大的能力來學習和識別出資料中的模式。

但這種能力帶來了一個讓人頭疼的問題：現代深度學習網路之所以能夠實現自動駕駛和保險欺詐識別這樣的壯舉，主要原因在於網路的複雜性，其複雜度之高讓神經網路專家也不能解釋清楚網路內部到底是怎麼工作的。

如果一個神經網路被訓練來識別有患肝癌和精神分裂症等疾病風險的患者，例如2015年紐約Mount Sinai醫院的“深度患者”系統，我們無法得知網路關注的是資料中的哪些特徵，因為神經網路的層數太多了，每層中神經元還有成百上千個連線。

越來越多的行業正在試圖通過人工智慧實現自動化決策或增強他們的決策制定依據，這個所謂的黑盒問題不是技術上的問題，而是神經網路的根本性缺陷。

DARPA的“XAI”專案（針對“可解釋的人工智慧”）正在積極鑽研這個問題，可解釋性在機器學習中的地位越來越高。Kim認為：“人工智慧正處於發展的關鍵時刻，我們需要判斷這項技術是否對我們有益。如果我們不能解決可解釋性問題，人工智慧的發展可能會受到阻礙甚至被放棄。”

Kim和她在Google Brain的同事最近開發了一個名為“概念啟用向量測試”（TCAV）的系統，她將該系統描述為“人類翻譯器”，允許使用者查詢黑盒人工智慧工作過程，即一個特定的高階概念在其訓練中發揮了多大作用。例如，如果一個機器學習系統被訓練來識別影像中的斑馬，那麼人們可以使用TCAV來確定系統在做出決策時“條紋”特徵起了多重要的作用。

TCAV最初是在用於識別影像的機器學習模型上進行測試的，但它也適用於文字和某些特定型別圖形資料（如腦電圖波形）的模型。 Kim表示，TCAV的通用性讓它能夠解釋許多不同的模型。

在Quanta雜誌的採訪中Kim討論了可解釋性意味著什麼，以及它為什麼現在受到了這麼多的關注。下面是一個經過編輯和濃縮的採訪版本。

Q：你的職業生涯專注於機器學習的“可解釋性”，但那個詞究竟意味著什麼呢？

A：可解釋性有兩個重要意義。對於科學研究來說：如果你把神經網路作為研究物件，那麼你就可以進行科學實驗來真正理解模型的訓練過程、神經元是如何反饋資訊等各種細節。

而對於實際應用來說：使用者不必瞭解模型的每一個細節，只要使用者能夠正確地使用該工具即可。這個方面是我最關注的，也是我們最終想要達到的目標。

Q：你為什麼會對一個你不完全理解運作細節的系統有信心？

A：我給你打個比方。假設我後院有一棵樹，我想砍掉它，我可能會選擇使用電鋸去鋸樹。雖然現在，我不太瞭解電鋸的工作原理是什麼，但電鋸的使用手冊上說明了使用步驟等資訊，我可以安全地使用它。所以，有了這本手冊，我更願意使用省時省力的電鋸，而不是更安全的手鋸。

就好像你知道怎麼運用神經網路，但是你不完全知道這個機制是如何實現的？

對。這就是第二個可解釋性的目標是：我們能充分理解一個工具，以便安全地使用它。我們可以通過確認工具中反映出的有用的人類知識來形成理解。

Q：“反映人類知識體系”為什麼會使黑盒子AI變得更容易理解？

A：再舉個例子解釋一下，如果醫生使用機器學習模型來進行癌症診斷，那麼醫生會想確認，該模型沒有關注不必要的資料點。確保這一點的一種方法就是確認機器學習模型會做一些醫生想要做的事情，換句話說，就是證明模型學習到了醫生的診斷知識。

因此，如果醫生正在使用一個細胞標本來診斷癌症，他們是為了在標本中尋找一種叫做“融合腺”的東西。同時，他們還需要考慮患者的年齡，以及患者過去是否接受過化療等情況。這些都是醫生診斷癌症時關心的因素，如果我們能證明機器學習模型也注意到了這些因素，那麼模型就更容易被理解了，因為它反映了醫生的知識體系。

Google Brain的Been Kim正在研究如何讓我們理解機器學習系統做出的決定。

Q：那這就是TCAV的作用嗎？是為了揭示機器學習模型正在使用哪些高階概念來做出決策嗎？

A：對。在此之前，可解釋性方法只解釋了神經網路在“輸入特徵”方面所做的工作。簡單來說，如果你有一張影像，每個畫素都作為一個輸入特徵。事實上，Yann Lecun（一位早期的深度學習先驅，目前是Facebook的人工智慧研究主管）認為，神經網路模型已經具有可解釋性，因為你可以檢視神經網路中的每個節點，並檢視每個輸入功能的數值。這對計算機來說沒問題，但人類的思維表示不是這樣的。我不會跟你說影像的 100到200畫素的RGB值是0.2和0.3，我會告訴你照片中狗的毛髮特別蓬鬆，這就是人類描述的方式，我們是通過概念來溝通的。

Q：TCAV如何把輸入特徵轉換為概念？

A：讓我們回到醫生使用機器學習模型的例子，例子中已經訓練過的模型對細胞標本的影像進行分類以確定潛在的癌症。作為醫生，你可能想知道“融合腺體”的概念在預測癌症時對模型的重要性。首先你要收集一些有融合腺體的影像示例——假設你收集了20 幅。然後，你將這些帶標籤的示例輸入到模型中。

TCAV在模型內部的作用被稱為“靈敏度測試”。當我們新增這些標記為融合腺體的圖片時，癌症陽性預測的概率增加了多少，可以用0到1之間的數值來表示，那就是你的TCAV分數。如果概率增加，那麼這是模型的一個重要概念。如果沒有，則不是一個重要概念。

Q：“概念”是一個模糊的術語。有沒有TCAV不起作用的時候？

A：如果你無法使用資料集的某些子集來描述你的概念，那麼它就不起作用。如果你的機器學習模型是用影像訓練的，那麼這個概念必須得是視覺化表達的。比方說我想在視覺上表達“愛情”的概念就真的很難。

我們也仔細驗證了這個概念。我們有一個統計測試程式，如果一個概念向量對模型的影響與隨機向量相同，那麼這個概念向量就會被程式拋棄。如果你的概念沒有通過這個測試，那麼TCAV會說：“我不知道。這個概念看起來不像對模型很重要的東西。”

Q：TCAV主要是用於在AI中建立信任，而不是真正理解它嗎？

A：不，不是這樣。接下來我會解釋原因，因為它很好區分。

我們從認知學和心理學的反覆研究中得知人類非常容易上當受騙。這意味著，騙一個人相信任某些東西實際上很容易。而機器學習的可解釋性的目標正與此相反，它是要告訴你，使用某系統是否安全，並揭露背後的真相，所以“信任”這個詞的表達並不準確。

Q：所以“可解釋性”的意思是揭示AI推理中的潛在缺陷？

A：是的，正是這樣。

Q：它如何揭示這些潛在缺陷？

A：您可以使用TCAV向受過訓練的模型詢問不相關的概念。回到使用AI進行癌症預測的醫生的例子，醫生可能會突然想到，“看起來機器對於許多帶藍色的影像給出癌症陽性預測。我們認為不應該考慮這個因素。”因此，如果TCAV對於“藍色”給出高評分，那麼他們就發現了機器學習模型中的一個問題。

TCAV旨在找出現有不可解釋的AI系統。那為什麼不從一開始就使用可解釋的系統，而要使用黑盒呢？

可解釋性研究的其中一個方面是構建反映人類理解過程的固有可解釋模型。但我認為：現在許多用於重要目的AI模型在一開始都沒有考慮可解釋性，這才是事實。比如，我們谷歌就有很多！你可以說，“既然解釋性是如此有用，那我為你建立另一個模型來取代你現有的模型吧。”好吧，那就祝你好運。

Q：那麼你下一步要做什麼？

決定這項技術是否對我們有利對我們來說仍然很關鍵。這就是我使用“事後可解釋性”方法的原因。如果某人給你一個模型並且你無法改變它，你如何為其行為生成解釋，以便你可以安全地使用它？這就是TCAV的工作。

Q：TCAV可以讓人類詢問AI某概念是否重要。但是如果我們不知道該問什麼怎麼辦？如果我們想讓AI系統自己給出解釋呢？

A：我們目前正在編寫的系統可以自動發掘概念。我們稱之為DTCAV——發掘型TCAV。但實際上，我認為增加人為操作，並實現機器與人之間的對話，是實現可解釋性的關鍵。

很多時候，在高風險的應用程式中，領域專家已經有了他們關心的概念列表。我們在Google Brain的醫療應用中不止一次看到這一點。他們不希望模型自己找出一系列概念——他們想要告訴模型他們感興趣的概念。我們與治療糖尿病視網膜病變（一種眼疾）的醫生一起工作，當我們告訴她什麼是TCAV的時候她非常興奮，因為她已經有很多關於這個模型可能做什麼的假設，現在她正好可以驗證一下這些假設。TCAV實際上很有優勢，因為它是一種以使用者為中心的協作機器學習方式。

Q：AI技術非常強大，你真的認為人們會因為其不具備可解釋性而放棄使用嗎？

A：是的，我認為是這樣。在專家系統上已經發生過類似的事情了。20世紀80年代，使用專家系統執行某些任務比僱傭人類操作員要便宜的多。但是現在誰還在使用專家系統？沒人。因此，很久以後我們也可能會放棄使用AI技術。

當然目前放棄AI不太可能，因為AI現在被炒的很熱，而且已經投入了大量的資金。但從長遠來看，我認為人類可能會判定這種技術不適合我們，或許是出於恐懼，或許是因為其缺乏可解釋性，這都是有可能的。

相關報導：

https://www.quantamagazine.org/been-kim-is-building-a-translator-for-artificial-intelligence-20190110/