可解釋性終極追問，什麼才是第一性解釋？20篇CCF-A+ICLR論文給你答案

AIxiv專欄是機器之心釋出學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報導了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯絡報導。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

• 參見1：https://zhuanlan.zhihu.com/p/369883667
• 參見2：https://zhuanlan.zhihu.com/p/361686461
• 參見3：https://zhuanlan.zhihu.com/p/704760363
• 參見4：https://zhuanlan.zhihu.com/p/468569001

• 參見1：https://zhuanlan.zhihu.com/p/610774894
• 參見2：https://zhuanlan.zhihu.com/p/546433296

• 1.Junpeng Zhang, Qing Li, Liang Lin, Quanshi Zhang，“Two-Phase Dynamics of Interactions Explains the Starting Point of a DNN Learning Over-Fitted Features”，in arXiv: 2405.10262
• 2.Qihan Ren, Yang Xu, Junpeng Zhang, Yue Xin, Dongrui Liu, Quanshi Zhang，“Towards the Dynamics of a DNN Learning Symbolic Interactions” in arXiv:2407.19198

讓我們考慮一個深度神經網路和一個輸入樣本，它包含個輸入變數，我們用集合表示這些輸入變數的全集。令表示 DNN 在樣本上的一個標量輸出。對於一個面向分類任務的神經網路，我們可以從不同角度來定義其標量輸出。例如，對於多類別分類問題，可以定義為，也可以定義為 softmax 層之前該樣本真實標籤所對應的標量輸出。這裡，表示真實標籤的分類機率。這樣，針對每個子集，我們可以用下面公式來定義中所有輸入變數之間 “等效與互動” 和 “等效或互動”。

如圖 4（a）所示，我們可以這樣理解上述與或互動：我們可以認為與等效互動表示神經網路所編碼的內輸入變數之間的 “與關係”。例如，給定一個輸入句子,神經網路可能會在之間建模一個互動，使得產生一個推動神經網路輸出 “傾盆大雨” 的數值效用。如果中的任何輸入變數被遮擋，則該數值效用將從神經網路的輸出中移除。類似地，等效或互動表示神經網路所建模的內輸入變數之間的 “或關係”。例如，給定一個輸入句子，只要中的任意一個詞出現，就會推動神經網路的輸出負面情感分類。

1. 無限擬合性：如圖 4，5 所示，對於任意遮擋樣本，神經網路在樣本上的輸出可以用不同互動概念的效用之和來擬合。即，我們可以構造出一個基於互動的 logical model，無論我們如何遮擋輸入樣本，這個 logical model 依然可精確擬合模型在此輸入樣本在任意遮擋狀態下的輸出值。
2. 稀疏性：面向分類任務的神經網路往往只建模少量的顯著互動概念，而大部分互動概念都是數值效用都接近於 0 的噪聲。
3. 樣本間遷移性：互動在不同樣本間是可遷移的，即神經網路在（同一類別的）不同樣本上建模的顯著互動概念往往有很大的重合。

^{圖 4：神經網路的複雜的推理邏輯可以被基於少量互動的邏輯模型準確擬合。每個互動都是衡量神經網路建模特定輸入變數集合之間非線性關係的度量指標。當且僅當集合中變數同時出現時才會觸發與互動，併為輸出貢獻數值分數，集合中任意變數出現時會觸發或互動。}

首先，我們將互動的階數（複雜度）定義為互動中的輸入變數的數量，。我們團隊之前的工作發現神經網路在某個特定樣本所建模的 “與或互動” 的複雜度直接決定了神經網路在這個樣本的泛化能力 [1]，即神經網路建模的高階的（大量輸入單元之間的）“與或互動” 往往有較差的泛化能力，而低階的（少量輸入單元之間的）“與或互動” 具有較強的泛化能力。

我們提出兩個指標來表示不同階（複雜度）的互動的強度的分佈。具體來說，我們用來衡量所有階正顯著互動的強度，用來衡量所有階負顯著互動的強度，其中和表示顯著互動的集合，表示顯著互動的閾值。

^{圖 6：從訓練不同輪次的神經網路中提取的不同階互動強度和。在不同資料集上、不同任務上訓練的不同的神經網路的訓練過程都存在兩階段現象。前兩個選定時間點屬於第一階段，而後兩個時間點屬於第二階段。恰恰在進入神經網路訓練過程的第二階段不久，神經網路的測試損失和訓練損失之間的 loss gap 開始顯著上升（見最後一列）。這表明神經網路訓練的兩階段現象與模型 loss gap 的變化在時間上是 “對齊” 的。更多實驗結果請參見論文。}

• 在神經訓練訓練之前，初始化的神經網路主要編碼中階互動，很少編碼高階和低階互動，並且不同階互動的分佈看起來呈現 “紡錘形”。假設具有隨機初始化引數的神經網路建模的是純噪聲，我們在 “5.4 理論證明兩階段現象” 章節證明了具有隨機初始化引數的神經網路建模的不同階的互動的分佈呈現 “紡錘形”，即僅建模少量的低階和高階互動，大量建模中階互動。
• 在神經網路訓練的第一階段，神經網路編碼的高階和中階互動的強度逐漸減弱，而低階互動的強度逐漸增強。最終，高階和中階互動逐漸被消除，神經網路只編碼低階互動。
• 在神經網路訓練的第二階段，神經網路在訓練過程中編碼的互動階數（複雜度）逐漸增加。在逐漸學習更高複雜度的互動的過程中，神經網路過擬合的風險也在逐漸提高。

實驗一：觀察在不同資料集上訓練的不同神經網路所建模的互動的泛化性。這裡我們用被測試集所觸發的互動的分佈和被訓練集所觸發的互動的分佈的 Jaccard 相似性來度量互動的泛化性。具體來說，給定一個包含個輸入變數的輸入樣本，我們將從輸入樣本提取到的階互動向量化，其中表示個階互動。然後，我們計算分類任務中所有類別為的樣本中提取到的階的平均互動向量，表示為，其中表示類別為的樣本的集合。接下來，我們計算從訓練樣本中提取的階的平均互動向量與從測試樣本中提取的階的平均互動向量之間的 Jaccard 相似性，以衡量分類任務中類別為的樣本的階互動的泛化能力，即：

其中，和將兩個維互動向量投影到兩個維的非負向量上，以便計算 Jaccard 相似性。對於某一階的互動，如果此階互動普遍展現出較大的 Jaccard 相似性，則表示這一階互動具有較強的泛化能力。

我們進行了實驗計算不同階互動。我們測試了在 MNIST 資料集上訓練的 LeNet、在 CIFAR-10 資料集上訓練的 VGG-11、在 CUB200-2011 資料集上訓練的 VGG-13，以及在 Tiny-ImageNet 資料集上訓練的 AlexNet。為了減少計算成本，我們僅計算了前 10 個類別的 Jaccard 相似性的平均值。如圖 7 所示，隨著互動階數的增加，互動的 Jaccard 相似性不斷下降。因此，這驗證了高階互動比低階互動具有更差的泛化能力。

^{圖 7：從訓練樣本和測試樣本中提取的互動之間的 Jaccard 相似性。低階互動具有相對較高 Jaccard 相似性表明低階互動具有較強的泛化能力。}

由於隨機初始化的隨機網路在訓練過程開始之前建模的都是噪聲，所以我們假設隨機初始化的神經網路建模的互動的服從均值為，方差為的正態分佈。在上述假設下，我們能夠證明初始化的神經網路建模的互動的強度和的分佈呈現 “紡錘形”，即很少建模高階和低階互動，主要建模中階互動。

在進入正式的證明之前，我們需要做以下的預備工作。首先，我們參照 [5, 6] 的做法，將神經網路在特定樣本上的 inference 改寫為不同互動觸發函式的加權和：

其中，為標量權重，滿足。而函式為互動觸發函式，在任意一個遮擋樣本上都滿足。函式的具體形式可以由泰勒展開推導得到，可參考論文，這裡不做贅述。

根據上述改寫形式，神經網路在特定樣本上的學習可近似看成是對互動觸發函式的權重的學習。進一步地，實驗室的前期工作 [3] 發現在同一任務上充分訓練的不同的神經網路往往會建模相似的互動，所以我們可以將神經網路的學習看成是對一系列潛在的 ground truth 互動的擬合。由此，神經網路在訓練到收斂時建模的互動可以看成是最小化下面的目標函式時得到的解：

其中表示神經網路需要擬合的一系列潛在的 ground truth 互動。和則分別表示將所有權重拼起來得到的向量和將所有互動觸發函式的值拼起來得到的向量。

可惜的是，上述建模雖然能得到神經網路訓練到收斂時的互動，但是無法很好地刻畫神經網路訓練過程中學習互動的動態過程。這裡引入我們的核心假設：我們假設初始化神經網路的引數上包含了大量噪聲，而這些噪聲的量級在訓練過程中逐步變小。而進一步地，引數上的噪聲會導致互動觸發函式上的噪聲，且該噪聲隨著互動階數指數級增長 (在 [5] 中已有實驗上的觀察和驗證) 。我們將有噪聲下的神經網路的學習建模如下：

其中噪聲滿足。且隨著訓練進行，噪聲的方差逐漸變小。

在給定的噪聲量級的情況下最小化上述損失函式，可得到最優互動權重的解析解，如下圖中的定理所示。

我們發現，隨著訓練進行（即噪聲量級變小），中低階互動強度和高階互動強度的比值逐漸減小（如下面的定理所示）。這解釋了訓練的第二階段中神經網路逐漸學到更加高階的互動的現象。

另外，我們對上述結論進一步做了實驗驗證。給定一個具有 n 個輸入單元的樣本，指標，其中, 可以用來近似測量第 k 階互動和第 k+1 階互動強度的比值。在下圖中，我們可以發現，在不同的輸入單元個數 n 和不同的階數 k 下，該比值都會隨著的減小而逐漸減小。

^{圖 9：在不同的輸入單元個數 n 和不同的階數 k 下，第 k 階互動和第 k+1 階互動強度的比值都會隨著噪聲量級的減小而逐漸減小。這說明隨著訓練進行（即逐漸變小），低階互動強度與高階互動強度的比值逐漸變小，神經網路逐漸學到更加高階的互動。}

最後，我們對比了在不同噪聲量級下的理論互動值在各個階數上的分佈和實際訓練過程中各階互動的分佈，發現理論互動分佈可以很好地預測實際訓練中各時間點的互動強度分佈。

^{圖 10：比較理論互動分佈（藍色直方圖）和實際互動分佈（橙色直方圖）。在訓練第二階段的不同時間點，理論互動分佈都可以很好地預測和匹配實際互動的分佈。更多結果請參見論文。}

如果說訓練的第二階段中互動的動態變化可以解釋為權重的最優解在噪聲逐漸減小時的變化，那麼第一階段就可認為是互動從初始化的隨機互動逐漸收斂到最優解的過程。

^{等效互動理論體系}

^{[1] Huiqi Deng, Na Zou, Mengnan Du, Weifu Chen, Guocan Feng, Ziwei Yang, Zheyang Li, and Quanshi Zhang. Unifying Fourteen Post-Hoc Attribution Methods With Taylor Interactions. IEEE Transactions on Pattern Analysis and Machine Intelligence (IEEE T-PAMI), 2024.}

^{[2] Xu Cheng, Lei Cheng, Zhaoran Peng, Yang Xu, Tian Han, and Quanshi Zhang. Layerwise Change of Knowledge in Neural Networks. ICML, 2024.}

^{[3] Qihan Ren, Jiayang Gao, Wen Shen, and Quanshi Zhang. Where We Have Arrived in Proving the Emergence of Sparse Interaction Primitives in AI Models. ICLR, 2024.}

^{[4] Lu Chen, Siyu Lou, Benhao Huang, and Quanshi Zhang. Defining and Extracting Generalizable Interaction Primitives from DNNs. ICLR, 2024.}

^{[5] Huilin Zhou, Hao Zhang, Huiqi Deng, Dongrui Liu, Wen Shen, Shih-Han Chan, and Quanshi Zhang. Explaining Generalization Power of a DNN Using Interactive Concepts. AAAI, 2024.}

^{[6] Dongrui Liu, Huiqi Deng, Xu Cheng, Qihan Ren, Kangrui Wang, and Quanshi Zhang. Towards the Difficulty for a Deep Neural Network to Learn Concepts of Different Complexities. NeurIPS, 2023.}

^{[7] Quanshi Zhang, Jie Ren, Ge Huang, Ruiming Cao, Ying Nian Wu, and Song-Chun Zhu. Mining Interpretable AOG Representations from Convolutional Networks via Active Question Answering. IEEE Transactions on Pattern Analysis and Machine Intelligence (IEEE T-PAMI), 2020.}

^{[8] Xin Wang, Jie Ren, Shuyun Lin, Xiangming Zhu, Yisen Wang, and Quanshi Zhang. A Unified Approach to Interpreting and Boosting Adversarial Transferability. ICLR, 2021.}

^{[9] Hao Zhang, Sen Li, Yinchao Ma, Mingjie Li, Yichen Xie, and Quanshi Zhang. Interpreting and Boosting Dropout from a Game-Theoretic View. ICLR, 2021.}

^{[10] Mingjie Li, and Quanshi Zhang. Does a Neural Network Really Encode Symbolic Concept? ICML, 2023.}

^{[11] Lu Chen, Siyu Lou, Keyan Zhang, Jin Huang, and Quanshi Zhang. HarsanyiNet: Computing Accurate Shapley Values in a Single Forward Propagation. ICML, 2023.}

^{[12] Qihan Ren, Huiqi Deng, Yunuo Chen, Siyu Lou, and Quanshi Zhang. Bayesian Neural Networks Avoid Encoding Perturbation-Sensitive and Complex Concepts. ICML, 2023.}

^{[13] Jie Ren, Mingjie Li, Qirui Chen, Huiqi Deng, and Quanshi Zhang. Defining and Quantifying the Emergence of Sparse Concepts in DNNs. CVPR, 2023.}

^{[14] Jie Ren, Mingjie Li, Meng Zhou, Shih-Han Chan, and Quanshi Zhang. Towards Theoretical Analysis of Transformation Complexity of ReLU DNNs. ICML, 2022.}

^{[15] Jie Ren, Die Zhang, Yisen Wang, Lu Chen, Zhanpeng Zhou, Yiting Chen, Xu Cheng, Xin Wang, Meng Zhou, Jie Shi, and Quanshi Zhang. A Unified Game-Theoretic Interpretation of Adversarial Robustness. NeurIPS, 2021.}

^{[16] Wen Shen, Qihan Ren, Dongrui Liu, and Quanshi Zhang. Interpreting Representation Quality of DNNs for 3D Point Cloud Processing. NeurIPS, 2021.}

^{[17] Xin Wang, Shuyun Lin, Hao Zhang, Yufei Zhu, and Quanshi Zhang. Interpreting Attributions and Interactions of Adversarial Attacks. ICCV, 2021.}

^{[18] Wen Shen, Zhihua Wei, Shikun Huang, Binbin Zhang, Panyue Chen, Ping Zhao, and Quanshi Zhang. Verifiability and Predictability: Interpreting Utilities of Network Architectures for 3D Point Cloud Processing. CVPR, 2021.}

^{[19] Hao Zhang, Yichen Xie, Longjie Zheng, Die Zhang, and Quanshi Zhang. Interpreting Multivariate Shapley Interactions in DNNs. AAAI, 2021.}

^{[20] Die Zhang, Huilin Zhou, Hao Zhang, Xiaoyi Bao, Da Huo, Ruizhao Chen, Xu Cheng, Mengyue Wu, and Quanshi Zhang. Building Interpretable Interaction Trees for Deep NLP Models. AAAI, 2021.}