Neural Dynamics on Complex Networks-KDD20

LeonYi發表於2023-01-16

一、摘要

學習複雜網路上的連續時間動態對於理解、預測和控制科學和工程中的複雜系統至關重要。然而,由於高維繫統結構中的組合複雜性、它們難以捉摸的連續時間非線性動力學以及它們的結構-動力學依賴性,使得這項任務非常具有挑戰。

為了解決這些挑戰,我們提出將常微分方程系統(ODEs)和圖神經網路(GNNs)相結合,以資料驅動的正規化來學習複雜網路上的連續時間動態變化

我們用GNN來建模微分方程系統。我們並未在前向過程中使用離散數量的神經網路層進行對映,而是在連續時間上數值地整合GNN層,從而捕獲圖上的連續時間動態。我們的模型可以解釋為連續時間GNN模型或圖神經ode模型。我們的模型可以用於:

  • 連續時間網路動態預測
  • 結構化序列預測(定期取樣情況)
  • 單饋框架下的節點半監督分類任務(單快照情況)。

我們透過在上述三種情況下進行的大量實驗,驗證了我們的模型。較好的實驗結果表明,我們的模型能夠在一個單一的框架中聯合捕獲複雜系統的結構和動力學。

二、內容

將固定結構的圖的節點特徵隨時間的動態變化,建模成微分方程(變化用微分方程建模是常規操作,還可以偏微分),同時用GNN模型來充當微分方程的右式,即變化公式(既利用神經網路的優勢,有利用了GNN編碼節點之間結構關聯的能力)
對微分方程進行一階近似(尤拉公式,一階差分近似微分;或進行積分,再進行數值積分,殊途同歸),再加上一個節點特徵變換,即可得到本文公式。

值得注意的是,現實世界中常有時序預測的需求,例如感測器採集資料,假如不同的感測器構成網路,則變成了時空預測問題。然而,這個時候用動態圖的演算法不一定就優於傳統時序預測或對感測器聚類分群建模預測等演算法或方案,這可能是實際資料的空間依賴性並不強。

下圖為論文PPT總結。
image

相關文章