GNN CS224W筆記

甦萌發表於2020-12-07

在這裡插入圖片描述我們希望將一個圖對映到二維空間,那麼我們要通過怎樣的方式去對映?
我們希望神經網路能夠學習這整個結構,節點之間的依賴。

在這裡插入圖片描述shallow embedding 的侷限性

  • 引數過多,計算太大(因為用鄰接矩陣表示 n n n個節點的圖的時候,需要 n 2 n^2 n2個引數,例如一百萬個節點的網路在一百維的空間上,需要一億個引數)
  • 五個節點的網路訓練好了之後,我不能將它用於六個節點的網路,如下圖因為引數的個數是固定的,所以這樣的模型沒有很好的泛化能力,不能推廣到新圖。
  • 歐氏距離只學習了節點的座標,但是節點是有特徵的

在這裡插入圖片描述在這裡插入圖片描述我們希望一個圖能夠通過深層神經網路,最後輸出一個很好的預測

這是一個挑戰,理由如下:

  1. 我們現在的機器學習深度學習是用於基礎資料型別的(文字,圖片等)
  2. 圖和其他的區別(如下圖)。
    - 圖不是固定大小的網格,是負責的網路拓撲結構
    - 影像是一個二維結構

在這裡插入圖片描述
在這裡插入圖片描述那麼我們希望從卷積神經網路的卷積中學到經驗,對於卷積的話是從3 × \times × 3 這樣一個範圍內的資料學習到一個新的值,那麼對於我們的圖,我們同樣從每個節點自身以及他的鄰居節點去學習一個新的值

在這裡插入圖片描述

如果直接將圖的鄰接矩陣放入卷積神經網路中學習會怎麼樣呢?

  1. 引數太多(節點數+特徵數)
  2. 這個訓練好了之後不適用於六點的圖(鄰接矩陣將變成6 × \times × 6)
  3. 我們希望下面的兩張圖的預測值是一樣的(因為他們實際上是同一張圖)

在這裡插入圖片描述

Basics of deep learning for graphs

在這裡插入圖片描述假設我們有個圖吧,如果是社交網路(結點特徵就是使用者影像),如果是生物網路(結點特徵就是基因)

在這裡插入圖片描述通過某個結點的鄰居,鄰居的鄰居(一般3-4步)去獲取資訊,去獲取結點周圍的網路結構

在這裡插入圖片描述A結點從BCD結點獲取資訊,C結點從ABEF結點獲取資訊,一直遞迴下去

有兩層神經網路對A進行預測