圖神經網路版本的Kolmogorov Arnold(KAN)程式碼實現和效果對比

deephub發表於2024-07-02

Kolmogorov Arnold Networks (KAN)最近作為MLP的替代而流行起來,KANs使用Kolmogorov-Arnold表示定理的屬性,該定理允許神經網路的啟用函式在邊緣上執行,這使得啟用函式“可學習”並改進它們。

目前我們看到有很多使用KAN替代MLP的實驗,但是目前來說對於圖神經網路來說還沒有類似的實驗,今天我們就來使用KAN建立一個圖神經網路Graph Kolmogorov Arnold(GKAN),來測試下KAN是否可以在圖神經網路方面有所作為。

資料集

我們將使用Planetoid資料集中的Cora,這個資料集是Planetoid御三家之一,學習圖神經網路都會接觸到。Cora資料集包含2708個節點,5429條邊。標籤共7個類別。資料集的特徵維度是1433維,官網的視覺化圖如下:

我們這裡使用pyg,因為它裡面包含了完整的資料集載入程式碼:

https://avoid.overfit.cn/post/a89b58b1886c465ca0bedd12c4f3c5dd

相關文章