轉自本人：https://blog.csdn.net/New2World/article/details/106626551
這一個 Lecture 前還有一個關於 Knowledge Graph 的 slide 我打算跳過，因為 KG 我現在還沒有深入研究，可能以後有空會系統地寫一個系列，因此現在就不要先入為主了。後面也還有一個 slide 講 GNN 的應用的，其實就是將前面的內容投入實際場景，沒有太多新的 technique，因此也就不整理了。
而這一個 Lecture 我感覺才是比較重要的，它介紹了 GNN 的一些缺陷和限制。
Capturing Graph Structure
GNN 的模式是將一個節點根據它周圍的圖結構展開成一個計算圖，然後做 aggregation。這麼看來 GNN 的目的和功能就是抽象圖結構，那為什麼說這反而是它的 limitation 呢？我們針對現有的 GNN 的模型來逐個分析：
首先是 GCN，它的 aggregation 使用的是 mean pooling。對於上圖中情況 (a) 和 (c)，節點 v 和 v' 使用 mean pooling 得到的結果是一樣的，然而這兩個的結構明顯不同。
然後是 GraphSAGE，它的 aggregation 使用的是 max pooling。對於圖中情況 (a) 和 (b) 它都不行，因為 (a) 的 max 都是藍色點，而 (b) 的 max 要麼是紅色要麼是綠色，反正 v 和 v' 得到的結果都一樣，因而無法區分這兩個不同的圖結構。
那麼問題到底出現在哪裡？很顯然是 aggregation 函式。理想情況下，我們希望 aggregation 函式是 injective 的，即內射的。這樣就能形成一個一對一的關係，將任何不同的輸入對映到不同的輸出。max pooling 和 mean pooling 顯然不滿足這個條件。
這裡有個 Theorem，說任何內射的 multi-set 函式都能被表示為 \(\phi(\sum\limits_{x\in S}f(x))\) 其中 \(\phi(\cdot)\) 和 \(f(\cdot)\) 都是非線性函式。但問題是如何定義這兩個關鍵性的函式？這還不簡單，MLP 唄。
Graph Isomorphism Network
由此 GIN 誕生了，它的 aggregation 採用 MLP + sum pooling。只要 MLP 設計訓練得好，它就是 injective 的。如此一來就能將對圖的分辨能力 discriminative power 最大化。那麼這個分辨能力到底有多強呢？
回答這個問題，首先需要了解什麼事 Weisfeiler-Lehman Graph Isomorphism Test，它是一種能區分現實世界中大部分圖結構的方法。形象地理解， WL test 對展開後的各個節點染色，不同的展開結構對應不同顏色，然後通過對比節點顏色和對應數量來判斷是否是 isomorhpism。
這和 GIN 在操作上異曲同工，因此理論上來說 WL test 是 GIN 的上界。然而 WL test 也並非打遍天下無敵手，遇到類似下面這種圖 WL test 也會犯錯，因為每個節點周圍的區域性展開圖都一樣。
Vulnerability to Noise
其實這個問題可以歸結於資料“攻擊”，即影像中通過修改部分不易被人眼察覺的畫素來達到 adversarial attack 的目的。對於 graph，這種“攻擊”是怎麼實現的？假設要“攻擊”某購物網站，使得它給特定使用者瞎推薦東西。分兩種情況討論
- 能獲得這個特定使用者的賬號，那麼事情就簡單了。可以通過
- 修改該使用者的資訊，比如性別、年齡。這會導致系統推薦對應性別和年齡段可能感興趣的東西；
- 關注收藏一些奇奇怪怪的商品；
- 取消關注一些已關注收藏的商品；
- 如果無法獲得這個特定賬號，那我們就“黑掉”幾個 Ta 的朋友作為 attacker
- 修改這些 attacker 的使用者資訊；
- 關注奇怪的東西；
- 取消關注和目標賬號的關注相關的東西；
用數學來表示 noise 對 GCN 的影響如下
好，formulation 出來了，解！不好意思，解不了…… 原因有二：其一，圖結構上的修改是離散的，不能單純的用梯度下降來優化；其二，內迴圈需要重新訓練 GCN，太奢侈了。因此需要用 approx. 的方法來近似，比如用貪心演算法一步一步的修改圖結構。這裡沒有介紹太多細節，只是提到了 18 年 KDD 的一片文章可以參考。不過由此我們得到的結論是 GNN 對對抗攻擊不具有魯棒性。
至此，cs224w 圖機器學習系列更新完畢。之後不定時會整理更新一些之前看過的論文，也會繼續新的系列。