GNN CS224W筆記
我們希望將一個圖對映到二維空間,那麼我們要通過怎樣的方式去對映?
我們希望神經網路能夠學習這整個結構,節點之間的依賴。
shallow embedding 的侷限性
- 引數過多,計算太大(因為用鄰接矩陣表示 n n n個節點的圖的時候,需要 n 2 n^2 n2個引數,例如一百萬個節點的網路在一百維的空間上,需要一億個引數)
- 五個節點的網路訓練好了之後,我不能將它用於六個節點的網路,如下圖因為引數的個數是固定的,所以這樣的模型沒有很好的泛化能力,不能推廣到新圖。
- 歐氏距離只學習了節點的座標,但是節點是有特徵的
我們希望一個圖能夠通過深層神經網路,最後輸出一個很好的預測
這是一個挑戰,理由如下:
- 我們現在的機器學習深度學習是用於基礎資料型別的(文字,圖片等)
- 圖和其他的區別(如下圖)。
- 圖不是固定大小的網格,是負責的網路拓撲結構
- 影像是一個二維結構
那麼我們希望從卷積神經網路的卷積中學到經驗,對於卷積的話是從3
×
\times
× 3 這樣一個範圍內的資料學習到一個新的值,那麼對於我們的圖,我們同樣從每個節點自身以及他的鄰居節點去學習一個新的值
如果直接將圖的鄰接矩陣放入卷積神經網路中學習會怎麼樣呢?
- 引數太多(節點數+特徵數)
- 這個訓練好了之後不適用於六點的圖(鄰接矩陣將變成6 × \times × 6)
- 我們希望下面的兩張圖的預測值是一樣的(因為他們實際上是同一張圖)
Basics of deep learning for graphs
假設我們有個圖吧,如果是社交網路(結點特徵就是使用者影像),如果是生物網路(結點特徵就是基因)
通過某個結點的鄰居,鄰居的鄰居(一般3-4步)去獲取資訊,去獲取結點周圍的網路結構
A結點從BCD結點獲取資訊,C結點從ABEF結點獲取資訊,一直遞迴下去
有兩層神經網路對A進行預測
相關文章
- 印象筆記 --- 方法分享筆記筆記
- 【圖機器學習】cs224w Lecture 10 - PageRank機器學習
- GNN 模型評估的一些陷阱GNN模型
- GNN模型評估的一些陷阱GNN模型
- 精心設計的 GNN 只是“計數器”?GNN
- 筆記筆記
- docker 筆記Docker筆記
- hybrid筆記筆記
- Meteor筆記筆記
- String筆記筆記
- html 筆記HTML筆記
- kafka 筆記Kafka筆記
- 路由筆記路由筆記
- 筆記1筆記
- 筆記-FMDB筆記
- ES筆記筆記
- 筆記:Docker筆記Docker
- Liunx筆記筆記
- webSocket筆記Web筆記
- Shadowsocks 筆記筆記
- AbstractQueuedSynchronizer筆記筆記
- 筆記:Spring筆記Spring
- jQuery筆記jQuery筆記
- Restful 筆記REST筆記
- Cookie筆記Cookie筆記
- grpc 筆記RPC筆記
- canvas筆記Canvas筆記
- 隨筆記筆記
- java 筆記Java筆記
- sqlsugar筆記SqlSugar筆記
- typescript筆記TypeScript筆記
- 2024.4.20 筆記筆記
- CSS筆記CSS筆記
- jupyter筆記筆記
- VOOM 筆記OOM筆記
- 自用筆記筆記
- cmake筆記筆記
- Minitorch筆記筆記