清華大學孫茂松組:圖神經網路必讀論文列表

路雪發表於2018-12-27
近年來,神經網路研究成為深度學習領域的熱點。最近,清華大學朱文武等人綜述了圖網,清華大學孫茂松組也釋出了預印版綜述文章 Graph Neural Networks: A Review of Methods and Applications。除此之外,孫茂松組周界、崔淦渠、張正彥同學對 GNN 相關的綜述論文、模型與應用進行了綜述,併發布在 GitHub 上。

GitHub 連結:https://github.com/thunlp/GNNPapers

綜述論文

這部分共介紹了 8 篇論文,包括前面提到的清華大學的兩篇綜述論文。

清華大學孫茂松組:圖神經網路必讀論文列表

機器之心介紹過其中的部分論文,參見:

模型

模型部分包括 35 篇論文,包括:

  • Yoshua Bengio 發表在 ICLR 2018 上的論文《Graph Attention Networks》,該論文提出了基於近鄰節點注意機制的網路架構 GAT,可用於處理複雜、不規則結構的計算圖,並在三種困難的基準測試中得到了業內最佳水平,研究人員稱該模型有望在未來處理任意不規則結構圖。

  • 谷歌發表在 ICLR 2018 上的論文《Graph Partition Neural Networks for Semi-Supervised Classification》,該論文提出了一種神經網路的新變體——圖分割神經網路(Graph Partition Neural Network,GPNN),該網路適用於處理大型圖。

  • 清華朱軍等人發表在 ICML 2018 上的論文《Stochastic Training of Graph Convolutional Networks with Variance Reduction》,提出基於控制變數的圖卷積網路(GCN),有效減少感受野大小。

  • 騰訊 AI Lab 發表在 AAAI 2018 上的論文《Adaptive Graph Convolutional Neural Networks》,提出自適應圖卷積神經網路 AGCN,可接受任意圖結構和規模的圖作為輸入。

  • 李佳等人發表在 TOMM 2015 上的論文《CelebrityNet: A Social Network Constructed from Large-Scale Online Celebrity Images》,提出了一種基於影象的社交網路 CelebrityNet,該網路基於名人照片中編碼的隱性關係構建而成。

  • KDD 2018 最佳論文《Adversarial Attacks on Neural Networks for Graph Data》,提出了針對圖深度學習模型的對抗攻擊方法,是首個在屬性圖上的對抗攻擊研究;研究者還提出了一種利用增量計算的高效演算法 Nettack。

  • ……

論文列表如下:

清華大學孫茂松組:圖神經網路必讀論文列表

清華大學孫茂松組:圖神經網路必讀論文列表

清華大學孫茂松組:圖神經網路必讀論文列表

清華大學孫茂松組:圖神經網路必讀論文列表

應用

應用部分有 86 篇論文,包括:

  • DeepMind 發表在 ICLR 2017 上的論文《Discovering objects and their relations from entangled scene representations》和《Metacontrol for Adaptive Imagination-Based Optimization》,介紹了互動網路在場景理解和基於想象的決策(imagination-based decision-making)上的應用。

  • Geoffrey Hinton 等人發表在 NIPS 2016 上的論文《Attend, Infer, Repeat: Fast Scene Understanding with Generative Models》,該論文提出了一個用於結構化影象模型(可以對目標進行明確的推理)中的有效推理的框架。這種方法是通過使用一個迴圈神經網路來執行概率推理——該迴圈神經網路可以處理場景元素且一次處理一個。關鍵的是,該模型自身可以學習選擇合適數量的推理步驟。相比於監督式的方法,該網路可以產出更精確的推理,而且它們的結構也可以使歸納得到進一步的提升。

  • 港中文發表在 AAAI 2018 上的論文《Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition》,該論文提出了一種時空圖卷積網路,並利用它們進行人類行為識別。這種演算法基於人類關節位置的時間序列表示而對動態骨骼建模,並將圖卷積擴充套件為時空圖卷積網路而捕捉這種時空的變化關係。

  • CMU 和谷歌的 CVPR 2018 Spotlight 論文《Iterative Visual Reasoning Beyond Convolutions》,提出了一種新的迭代視覺推理框架。該框架超越了目前只具備卷積堆疊推理能力的識別系統。該框架由兩個核心模組組成:一個是區域性模組,使用空間記憶以並行更新的方式儲存以前的信念;另一個是全域性圖形推理模組。

  • 谷歌發表在 NIPS 2017 上的著名論文《Attention Is All You Need》,提出了一種新型的簡單網路架構——Transformer,它完全基於注意力機制,徹底放棄了迴圈和卷積。

  • Christopher D. Manning 發表在 EMNLP 2015 上的論文《Effective Approaches to Attention-based Neural Machine Translation》,探討了兩種簡單有效的注意機制類別:一種能顧及到所有源詞的全域性方法,以及一種只能一次檢視源詞的一個子集的區域性方法。

  • DeepMind 2018 年的研究《Relational Deep Reinforcement Learning》,提出了一種「關係性深度強化學習」方法,並在星際爭霸 2 中進行了測試。

  • 來自微軟研究院和西門菲莎大學的研究者發表在 ICLR 2018 上的論文《Learning to Represent Programs with Graphs》,提出基於程式圖簡化程式分析,從原始碼中學習。該方法結合基於數理邏輯自然語言理解的程式分析方法,可以更準確地查詢已釋出軟體中的 bug。

  • 清華朱軍等人發表在 ICML 2018 上的論文《Adversarial Attack on Graph Structured Data》,關注神經網路的魯棒性,即通過攻擊(對抗)訓練的方法來增強神經網路分類的穩定性。

  • Christopher D. Manning 等人發表在 ACL 2015 上的論文《Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks》,提出了改善語義表徵的 Tree-LSTM,用於自然語言處理任務,在預測句子相關度和情感分類任務上表現優異。

  • Christopher D. Manning 等人發表在 EMNLP 2018 上的論文《Graph Convolution over Pruned Dependency Trees Improves Relation Extraction》,提出一種用於關係提取的圖卷積網路變體。

  • UCLA 朱鬆純教授等人發表在 ECCV 2018 上的論文《Learning Human-Object Interactions by Graph Parsing Neural Networks》,提出圖解析神經網路(Graph Parsing Neural Network,GPNN),用於檢測和識別影象和視訊中人-物互動的任務。

  • ……

論文列表如下:

清華大學孫茂松組:圖神經網路必讀論文列表

清華大學孫茂松組:圖神經網路必讀論文列表

清華大學孫茂松組:圖神經網路必讀論文列表

清華大學孫茂松組:圖神經網路必讀論文列表

清華大學孫茂松組:圖神經網路必讀論文列表

清華大學孫茂松組:圖神經網路必讀論文列表

清華大學孫茂松組:圖神經網路必讀論文列表

清華大學孫茂松組:圖神經網路必讀論文列表

清華大學孫茂松組:圖神經網路必讀論文列表

相關文章