注意力機制在圖卷積中的應用

圖卷積神經網路（GCN）最近已成為眾多分析任務最強大的工具之一，從社交網路和自然語言處理到生物化學領域，這要歸功於GCN對複雜關係的處理能力。目前，絕大多數GCN都使用鄰域聚合框架來學習連續緊湊的向量，然後執行池化操作得到圖嵌入用於圖分類任務。這些方法在圖分類任務中有兩個缺點：（1）當只使用最大的子圖結構（k-hop neighbor）用於鄰域聚合，在圖卷積中會丟失大量資訊; （2）使用簡單的平均/總和或最大池化，這損失了每個節點的特徵和節點之間的關係資訊。在本文中，我們提出了一種新的框架，稱為雙重注意圖卷積網路（DAGCN）來解決上述問題。DAGCN通過新的注意力圖卷積層自動學習不同hops鄰居節點的重要性，然後採用第二注意力元件，自注意力池化層，從矩陣圖嵌入的各個方面推廣圖表示。DAGCN以端到端的方式訓練模型完成圖分類任務。論文將DAGCN與目前一些方法進行了比較。實驗結果表明，DAGCN框架不僅優於其他基準模型，而且實現了更好的收斂速度。

我們研究了Relational Graph Attention Networks（關係圖注意力網路），這是一類擴充套件non-relational圖注意力機制以結合關係資訊的模型，然後將這些方法應用於更廣泛的問題。論文對這些模型進行了比較全面評估，並與基準模型進行了比較。為了提供有意義的比較，論文重新訓練了關係圖卷積網路，關係圖注意力網路，並在相同條件下做了評估。發現關係圖注意力網路的效能比預期的要差。論文提供了有關原因的見解，並建議對評估策略進行修改，以及調查未來工作的方向。

最近，掀起一股對圖表示學習的浪潮。然而，當前的動態圖學習方法在建模節點之間的時間，多關係和併發互動方面缺乏原則性的方法。這對時態知識圖推理的任務尤其有問題，其目標隨著時間推移是預測看不見的實體關係（即事件）。論文提出了Recurrent Event Network——一種用於建模複雜事件序列的架構。由一個迴圈事件編碼器和一個鄰域聚合器組成。事件編碼器使用RNN從歷史實體互動中捕獲（主體，關係）特定模式; 鄰居聚合器總結了每個時間戳內的併發互動。輸出層設計用於預測即將發生的多關係事件。

視覺對話雖然取得了一些進展，但是一些細節問題上仍然存在挑戰。注意力機制證明了其在視覺對話中提取細節問題的能力，並且由於其可解釋性和有效性而為視覺對話提供了可信任的框架。然而，資料多種utility的出現對現有的注意力技術提出了挑戰。本文是為了解決了這個問題，提出了一種用於視覺對話的通用注意力機制，為此，我們設計了基於注意力機制的factor graph，它可以用於任意數量的utility表示。論文還證明了該方法在各種基準資料集上的適用性。

在許多應用中都可以找到Spherical data 。通過將離散球體建模為graph，可以適應非均勻分佈，部分和變化的取樣。此外，圖卷積在計算上比spherical 卷積更有效。由於需要利用等效性來利用旋轉對稱性，我們將討論如何使用Defferrard等人介紹的圖神經網路來逼近旋轉等效。實驗表明旋轉不變學習問題具有良好的效能。