劉世霞老師在此次報告中，主要為大家介紹了一些基於可視分析的可解釋機器學習方面的工作（本文將以第一人稱陳述報告內容）。
在我們的日常工作和生活中，機器學習無處不在，典型的例子包括搜尋、推薦和欺詐檢測，機器學習在這些任務中扮演著非常重要的角色。
為了讓我們能夠更好地瞭解機器學習模型的工作機制，並根據需要使用它們。為此，DARPA啟動了可解釋的人工智慧專案。
Xai包括三個部分，我們的工作重點是基於可視分析技術的可解釋介面，將最先進的HCI與新的原則、戰略和技術相結合，以產生有效的解釋。
DNNs已經發展成為許多人工智慧應用中的最先進技術，然而，研究人員發現，DNNs通常容易受到惡意生成的對抗性示例的攻擊，這些示例旨在誤導DNNs做出錯誤的預測。
這種現象給將DNNs應用於安全和安全關鍵應用（如無人駕駛汽車、人臉識別ATM）帶來了高風險。
在這項工作中，我們提供了一個視覺化的分析工具來解釋為什麼會出現這樣的錯誤分類。
[I]首先介紹如何抽取資料通路。
[I]抽取資料通路的關鍵在於，求出重要的神經元。
現在，研究者們普遍將響應最大的神經元作為資料通路，但是，當圖片中出現容易識別的次要物體時，會出現錯誤。
產生這個錯誤的原因有兩個:
第一，神經元之間存在複雜的關係;
第二，響應往往通過一個複雜的非線性函式才能得到最終的判決結果。
為了解決這個問題，這裡我們選取真正能夠影響最終判決結果的神經元作為重要的神經元。
換句話說，我們通過選取儘量少的神經元，達到保持原判決結果不變的目的。
從而將這個問題建模為一個子集選取問題。
接下來，我介紹一下關於模型工作機理解釋的相關工作：
深度生成模型（Deep Generative Models）
上面有一個隱含的變數，用 Z 表示；中間會經過一個深度神經網路，你可以根據你的任務選擇不同的神經網路、不同的深度、不同的結構；下面是我們觀察到的資料 X。這個場景有很多，比如對抗生成網路，可以生成高維的自然圖片。實際上，Z 可以是非常隨機的噪聲，通過神經網路可以生成非常高質量的圖片。
在這種框架下，我們可以做很多。比如可以給隱含變數設定某些結構資訊，比如生成人臉時，有一些變數指代人的姿態，另外一些變數可能描述其他的特徵，這兩個放在一起我們就可以構建這樣一個深度生成模型。
它同一列有同一姿態，可以變化其它變數來生成不同的圖片。現在是非常受歡迎、非常強大的一種模型了。
與CNN不同的是：x和z都是隨機變數，而CNN中都是實數
目前，大多數深度學習模型都是資料驅動的方法，而知識驅動的觀點則相對較少受到關注。從這個意義上說，一個開放的研究機會是通過互動式視覺化將人類專家知識和深度學習技術相結合。
許多深度學習模型的培訓非常耗時（從數小時到數天的計算），需要使用漸進的視覺化分析技術將專家納入分析迴圈。
深度學習模型通常容易受到對抗性干擾的影響，在這種情況下，惡意生成對抗性示例，以誤導模型輸出錯誤的預測。對抗性的例子被修改得很小，因此在許多情況下，這些修改可能非常細微，以至於人類觀察者根本就無法注意到修改，但是模型仍然出錯。
這些對抗性的例子經常被用來攻擊深度學習模型。在這方面，在實際應用中，保持深度學習模型的健壯性至關重要。
因此，一個可解釋的深度學習的研究機會是將人類的知識結合起來，以提高深度學習模型的魯棒性。