近年來,圖神經網路研究成為深度學習領域的熱點。最近,清華大學朱文武等人綜述了圖網絡,清華大學孫茂松組也釋出了預印版綜述文章 Graph Neural Networks: A Review of Methods and Applications。除此之外,孫茂松組周界、崔淦渠、張正彥同學對 GNN 相關的綜述論文、模型與應用進行了綜述,併發布在 GitHub 上。
GitHub 連結:https://github.com/thunlp/GNNPapers
綜述論文
這部分共介紹了 8 篇論文,包括前面提到的清華大學的兩篇綜述論文。
機器之心介紹過其中的部分論文,參見:
模型
模型部分包括 35 篇論文,包括:
Yoshua Bengio 發表在 ICLR 2018 上的論文《Graph Attention Networks》,該論文提出了基於近鄰節點注意機制的網路架構 GAT,可用於處理複雜、不規則結構的計算圖,並在三種困難的基準測試中得到了業內最佳水平,研究人員稱該模型有望在未來處理任意不規則結構圖。
谷歌發表在 ICLR 2018 上的論文《Graph Partition Neural Networks for Semi-Supervised Classification》,該論文提出了一種圖神經網路的新變體——圖分割神經網路(Graph Partition Neural Network,GPNN),該網路適用於處理大型圖。
清華朱軍等人發表在 ICML 2018 上的論文《Stochastic Training of Graph Convolutional Networks with Variance Reduction》,提出基於控制變數的圖卷積網路(GCN),有效減少感受野大小。
騰訊 AI Lab 發表在 AAAI 2018 上的論文《Adaptive Graph Convolutional Neural Networks》,提出自適應圖卷積神經網路 AGCN,可接受任意圖結構和規模的圖作為輸入。
李佳等人發表在 TOMM 2015 上的論文《CelebrityNet: A Social Network Constructed from Large-Scale Online Celebrity Images》,提出了一種基於影象的社交網路 CelebrityNet,該網路基於名人照片中編碼的隱性關係構建而成。
KDD 2018 最佳論文《Adversarial Attacks on Neural Networks for Graph Data》,提出了針對圖深度學習模型的對抗攻擊方法,是首個在屬性圖上的對抗攻擊研究;研究者還提出了一種利用增量計算的高效演算法 Nettack。
……
論文列表如下:
應用
應用部分有 86 篇論文,包括:
DeepMind 發表在 ICLR 2017 上的論文《Discovering objects and their relations from entangled scene representations》和《Metacontrol for Adaptive Imagination-Based Optimization》,介紹了互動網路在場景理解和基於想象的決策(imagination-based decision-making)上的應用。
Geoffrey Hinton 等人發表在 NIPS 2016 上的論文《Attend, Infer, Repeat: Fast Scene Understanding with Generative Models》,該論文提出了一個用於結構化影象模型(可以對目標進行明確的推理)中的有效推理的框架。這種方法是通過使用一個迴圈神經網路來執行概率推理——該迴圈神經網路可以處理場景元素且一次處理一個。關鍵的是,該模型自身可以學習選擇合適數量的推理步驟。相比於監督式的方法,該網路可以產出更精確的推理,而且它們的結構也可以使歸納得到進一步的提升。
港中文發表在 AAAI 2018 上的論文《Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition》,該論文提出了一種時空圖卷積網路,並利用它們進行人類行為識別。這種演算法基於人類關節位置的時間序列表示而對動態骨骼建模,並將圖卷積擴充套件為時空圖卷積網路而捕捉這種時空的變化關係。
CMU 和谷歌的 CVPR 2018 Spotlight 論文《Iterative Visual Reasoning Beyond Convolutions》,提出了一種新的迭代視覺推理框架。該框架超越了目前只具備卷積堆疊推理能力的識別系統。該框架由兩個核心模組組成:一個是區域性模組,使用空間記憶以並行更新的方式儲存以前的信念;另一個是全域性圖形推理模組。
谷歌發表在 NIPS 2017 上的著名論文《Attention Is All You Need》,提出了一種新型的簡單網路架構——Transformer,它完全基於注意力機制,徹底放棄了迴圈和卷積。
Christopher D. Manning 發表在 EMNLP 2015 上的論文《Effective Approaches to Attention-based Neural Machine Translation》,探討了兩種簡單有效的注意機制類別:一種能顧及到所有源詞的全域性方法,以及一種只能一次檢視源詞的一個子集的區域性方法。
DeepMind 2018 年的研究《Relational Deep Reinforcement Learning》,提出了一種「關係性深度強化學習」方法,並在星際爭霸 2 中進行了測試。
來自微軟研究院和西門菲莎大學的研究者發表在 ICLR 2018 上的論文《Learning to Represent Programs with Graphs》,提出基於程式圖簡化程式分析,從原始碼中學習。該方法結合基於數理邏輯和自然語言理解的程式分析方法,可以更準確地查詢已釋出軟體中的 bug。
清華朱軍等人發表在 ICML 2018 上的論文《Adversarial Attack on Graph Structured Data》,關注圖神經網路的魯棒性,即通過攻擊(對抗)訓練的方法來增強圖神經網路分類的穩定性。
Christopher D. Manning 等人發表在 ACL 2015 上的論文《Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks》,提出了改善語義表徵的 Tree-LSTM,用於自然語言處理任務,在預測句子相關度和情感分類任務上表現優異。
Christopher D. Manning 等人發表在 EMNLP 2018 上的論文《Graph Convolution over Pruned Dependency Trees Improves Relation Extraction》,提出一種用於關係提取的圖卷積網路變體。
UCLA 朱鬆純教授等人發表在 ECCV 2018 上的論文《Learning Human-Object Interactions by Graph Parsing Neural Networks》,提出圖解析神經網路(Graph Parsing Neural Network,GPNN),用於檢測和識別影象和視訊中人-物互動的任務。
……
論文列表如下: