從分歧走向融合：圖神經網路歷經了怎樣的演化之路？

AI領域在近十年的進展神速，隨著機器學習、深度學習的迭代，語音、影像、自然語言處理逐漸取得了很大的突破。集結了這些能力的智慧裝置越來越聰明，一些語音裝置與人交流的越來越順暢，自動駕駛、虛擬數字人等代表著最前沿的AI能力的應用也走向了落地。

在AI發展的過程中，基礎的理論研究階段，經常使用的是一些語音、影像、文字都很簡單的序列或者網格資料，對於深度學習來說，這些簡單的結構化資料很好處理。然而在AI應用的落地實踐與產業應用中，非結構化的資料不少，從資料的角度來看，相比於影像和文字, 非結構的圖型別資料分佈更加廣泛, 圖結構也更加複雜。例如社交網路、知識圖譜、複雜的檔案系統等。

相比於簡單的文字和影像，這種網路型別的非結構化資料處理非常複雜：圖的大小是任意的，其拓撲結構複雜，沒有像影像一樣的空間區域性性;圖經常是動態變化的，包含著多模態的特徵，沒有可以參考的節點與順序。

那麼對於這類產業實際的問題，我們該如何建模?能否將深度學習進行擴充套件並建模該類非歐資料呢?這些問題促使了圖神經網路的出現與發展。

十七年的萬水千山

圖神經網路 (GNN)的概念最早是Marco Gori等人在2005年提出的，發表在論文《The Graph Neural Network Model》。

在此之前，處理圖資料的方法是在資料的預處理階段將圖轉換為用一組向量表示。這種處理方法對於一些圖豐富的資料來說弊端明顯，會丟失很多結構資訊，得到的結果嚴重依賴於對圖的預處理。GNN的提出能夠將資料處理的過程直接架構在圖資料之上，不僅是擴充了已有的神經網路模型，也可以提高圖資料處理的精度。

2009年Franco Scarselli博士在其論文中定義了圖神經網路的理論基礎，Scarselli 和 Micheli 等人繼承和發展了 GNN 演算法，並做了一定程度的改進。早期階段的 GNN 主要是以 RNN 為主體框架，透過簡單的特徵對映和節點聚集為每個節點生成向量式表達，不能很好地應對現實中複雜多變的圖資料。

針對此情況，YannLeCun的學生Bruna等人提出將 CNN 應用到圖上，透過對卷積運算元巧妙的轉換，提出了基於頻域和基於空域的圖卷積網路(GCN)，並衍生了許多變體。

GCN的提出可謂是圖神經網路的“開山之作”，它首次將影像處理中的卷積操作簡單的用到圖結構資料處理中來。降低了圖神經網路模型計算的複雜度，此前在圖網路計算過程中的拉普拉斯矩陣的計算從此成為過去式。

不過這個階段的圖卷積網路還有明顯的弊端：擴充套件性比較差，在實際的落地中，需要處理的圖都是工程領域中的大圖，GCN並不能處理大圖。再者就是GCN在各種實驗中，被驗證使用2層卷積GCN效果最好，這也意味著其只能侷限於淺層的應用，如果深入使用其他殘差連線等trick方式，只能勉強儲存效能不下降，並不能提高應用計算的效能。

為了解決GCN的兩個缺點問題，GraphSAGE模型被提了出來。這個模型是2017年史丹佛大學提出的一種基於圖的inductive(歸納)學習方法。GraphSAGE可以利用取樣機制，很好地解決GCN必須要知道全部圖的資訊問題，克服了GCN訓練時記憶體的限制。模型的引數數量與圖的節點個數無關，可以處理更大的圖，並且即使對於未知的新節點，也能得到其表徵。

當然GraphSAGE模型也有一些缺點，GraphSAGE的取樣沒有考慮到不同鄰居節點的重要性不同，而且聚合計算的時候鄰居節點的重要性和當前節點也是不同的。這也導致GraphSAGE在處理一些資料權重差異較大的圖中，存在偏頗和侷限。

圖注意力網路(GAT)隨之誕生，專門解決GNN聚合鄰居節點過程中不同的鄰居節點權重不同的問題。圖注意力網路借鑑了Transformer模型中的注意力機制，在計算圖中會根據鄰居節點特徵的不同來為其分配不同的權值。GAT訓練GCN無需瞭解整個圖結構，只需知道每個節點的鄰居節點即可，計算的速度快，可以在不同的節點上進行平行計算也可以對未見過的圖結構進行處理，既能處理有監督任務也能處理無監督任務。

在圖神經網路發展的過程中，為了解決圖網路計算過程中的精度與擴充問題，一代又一代的新模型被不斷提出。在提出後的十幾年裡被不斷擴充套件，先後發展出了圖卷積網路、 圖注意力網路、圖自編碼器、圖生成網路和圖時空網路等多個子領域。

在這其中，圖卷積網路GCN、GraphSAGE、圖注意力網路GAT可謂是圖神經網路發展脈絡過程中的重要經典，也是發展過程中的重要節點。圖神經網路衍化生成的各類模型，在處理非結構化資料時的出色能力，使其在網路資料分析、推薦系統、物理建模、自然語言處理和圖上的組合最佳化問題方面都取得了新的突破。

產業多領域的“開花結果”

在圖神經網路的發展歷程中，前文提及過其衍生的五個子領域，在這五個子方向中，近幾年最火熱的方向可謂是圖卷積神經網路(GCN)與圖注意力網路(GAT)的發展了。

GCN的起勢得益於多層神經網路中卷積神經網路的發展。2015年微軟研究院152層的ResNet的聲名鵲噪，神經網路的“深度”首次突破了100層、最大的神經網路甚至超過了1000層。極大的消除了深度過大的神經網路訓練困難問題，驗證了其在堆疊多層上訓練的有效性，所以近幾年圖卷積神經網路也順勢成為研究熱點。

GCN在影像分類、目標檢測、語義分割、視覺問答等領域的應用，已被陸續發表在CVPR、ICCV、ECCV、NeurIPS等計算機視覺與神經網路的頂級會議中，成為各大計算機領域頂會常被刷到的“熟臉”。

在應用實踐方面，比如在生物醫療領域，從藥物分子的研發到蛋白質分子結構預測，從視覺推理到開放性的閱讀理解問題，從自動駕駛系統感知層中的3D點雲資料學習到交通流量的預測等，都可以看到圖神經網路廣闊的應用前景。

在音影娛樂領域，以我們熟悉的音樂平臺網易云為例，不同於一般的聊天文字或圖片，音樂的資料為各類跨域資料，維度非常多。再疊加上巨量的使用者應用，傳統的機器學習方法訓練效率大受限制，變得十分低效。

而圖神經網路技術的約束性較小，可以把每個使用者當做點，使用者的標籤作為邊，在此基礎上建模分析，能更高效地表徵、篩選某一類使用者。網易雲運用百度飛槳的PGL圖神經網路能力，挖掘使用者的特徵、歌曲的特徵、使用者對歌曲的行為特徵，實現精準的音樂推薦。百度飛槳的PGL圖神經網路可以支援網易音樂超大規模資料的極低成本全圖儲存、靈活子圖檢索、高效圖學習等，能夠自如的處理網易百億級別的大規模資料。

在交通領域，滴滴出行研究了一種基於時空多圖卷積神經網路的網約車需求量預測模型。透過分析區域之間複雜的時空依賴關係，對網約車需求量進行準確預測，指導車輛的排程，提高車輛的利用率，減少等待時間，並在一定程度上緩解了交通的擁堵。

事實上，基於超大規模複雜資料的使用者與內容理解是許多網際網路內容企業所面臨的共同課題。而圖神經網路已經成為目前網際網路企業高效表徵使用者與內容結構的關鍵技術。圖神經網路已經被廣泛應用在社交網路、推薦系統、科科學研究、化學分子預測、知識圖譜等領域。

走向“多圖”融合

在圖神經網路的發展過程中，總結來說最終演化出了五個子領域：圖卷積網路、圖自編碼器、圖生成網路、圖迴圈網路和圖注意力網路。這些子領域的發展也代表著著圖神經網路的差異化的演繹方向。

圖卷積網路、圖注意力網路在前文都提及過，圖迴圈網路是最早出現的GNN網路模型，通常將圖資料轉換為序列，在訓練的過程中序列會不斷地遞迴演進和變化。圖生成網路是生成圖資料的GNN，在使用一定的規則對節點和邊進行重新組合,最終生成具有特定屬性和要求的目標圖，在建模生成圖的科學研究、生物工程等領域應用廣泛。

每種不同的圖神經網路子領域發展都有自己對圖結構資料處理的一套體系,其中的適用範圍有差別，但它們之間也並不是相互孤立和排斥。圖自編碼器中包含著圖卷積層,圖注意力網路也大多以其他圖神經網路框架為基礎。目前比較主流的融合方式是圖卷積神經網路與其他GNN子領域的結合比較多。在圖神經網路的實際應用中,未來更需要解決複雜的工程問題，這也需要多圖的融合：根據具體圖的分佈和特徵資訊,以及任務的需求,選擇組合合適的圖神經網路,來更加有效地學習圖結構資料。

圖神經網路的核心在於規範化的表示圖結構資料與傳遞層內或層間資料資訊。經過十幾年的不斷髮展, 透過各行業內產業落地的應用以及實驗室中理論的不斷迭代，GNN 在理論上和實踐上都被證實是對圖結構資料處理的一種有效方法和框架。不過雖然圖神經網路在實際應用中取得了不錯的成績，但也存在著一些需要完善的地方，這也是圖神經網路未來可能的發展方向。

1.網路深度的擴充套件。在大規模資料集的不斷增多發展中,圖節點之間的邊連線數量隨之增多，這也極大增加了訓練過程中的計算複雜度,可能導致過擬合的現象發生。如果加深網路層數,就必須限制每層節點數量。但這也會帶來新的問題：網路層數的增加會使得特徵聚集的量變少,導致節點之間資訊傳播受阻。這一矛盾性問題是未來研究的重點之一。

2.圖資料動態性的處理能力欠缺。現有的 GNN 大多處理的是靜態圖，但在實際的工程應用中，資料的增加和改變是常態,在這些任務處理中,資料圖的動態變化是不能忽視的。如何對圖的動態性進行有效的適應是未來的研究方向之一。

3.多工需求中，GNN能力融合性差。在實際的圖處理任務中，多數的任務都比較複雜，抽象出的圖結構多域多模態，而GNN的能力範圍大多數的情況下只能處理其中的某一型別。複雜的多網路融合問題，GNN並不能處理。目前比較主流的多網路融合方式更多的是GCN與其他GNN演算法相結合。

我們知道AI的關鍵能力就是識別與學習，在日新月異的數字技術發展中，圖神經網路的發展在理論和實踐中都證明了對於深度學習能力的補充。隨著圖資料的規模越來越大。如果圖神經網路可以在深度學習的黑箱中既能處理大規模的圖資料，又能表達出機器思考的邏輯因果，那麼這對於AI的研究來說，就是極其重要的突破。說不定我們最期待的機器走向通用化強人工智慧可能會從圖神經網路開始。

不過這一切也是一種理想化的設定，圖神經網路的發展雖然取得了一些成績，但離我們觸達通用化的強人工智慧路仍道阻且長，技術的發展從理論到時間需要AI思維的打磨，產業的點點滲透與適應，這些都需要時間的灌溉才能開花結果。我們就期待著改變世界的超強大腦們帶領我們普羅大眾們儘快進入這個AI新世界。