作者：學術君
昨日，除了刷屏的“雙十一”與AAAI開（放）獎（榜），史丹佛大牛Jure Leskovec正好到訪清華，學術君的朋友圈是一片喜氣洋洋吶……
Jure Leskovec有多火，來張現場圖瞅瞅……
Jure Leskovec有多厲害？
Jure Leskovec
圖網路領域的大牛Jure Leskovec，是史丹佛大學計算機學院的副教授，也是圖表示學習方法 node2vec 和 GraphSAGE 作者之一。
在谷歌學術搜尋（Google Scholar）上，Jure擁有接近4.5萬的論文引用數量，H指數為84。這意味什麼？
在美國，研究型大學要獲得永久教職的副教授，H指數一般為10到12，晉升為正教授則大約為18。成為美國科學院院士則一般在45以上，中位數是57。而Jure 84的H指數也就意味著他在人工智慧研究領域佔有舉足輕重的地位。
近年來，深度學習領域關於圖神經網路（Graph Neural Networks，GNN）的研究熱情日益高漲，圖網路已經成為2019年各大深度學習頂會的研究熱點。GNN 處理非結構化資料時的出色能力使其在網路資料分析、推薦系統、物理建模、自然語言處理和圖上的組合最佳化問題方面都取得了新的突破。但是，大部分的圖網路框架的建立都是基於研究者的先驗或啟發性知識，缺少清晰的理論支撐。
在ICLR2019中，Jure Leskovec 團隊的一篇力作，圖神經網路到底有多厲害（ How Powerful are Graph Neural Networks） ？提出了基於WL圖同構測試的理論框架，為眾多的GNN框架給出了精彩的理論分析，並提出了一個簡單但強大的圖網路框架 GIN（Graph Isomorphism Networks），同時驗證了GIN在圖分類任務上的卓越效能。這篇文章認為圖神經網路在因果推理方面有巨大的潛力，有望成為 AI 的下一個拐點。
Jure在研究什麼？
Jure在演講中提到，圖形領域的機器學習是一項重要而普遍的任務，其應用範圍從藥物設計到社交網路中的友情推薦。該領域的主要挑戰是找到一種表示或編碼圖形結構的方法，以便機器學習模型可以很方便地利用它。
他介紹了圖神經網路研究的最新進展，他們使用基於深度學習的技術，自動學習將圖形結構編碼為低維嵌入。他還介紹了圖表示學習的關鍵進展，包括圖形卷積網路及其表示能力，探討了它在Web級推薦系統、醫療保健、知識表示和推理方面的應用。
以下是該演講的PPT節選。
深度學習工具箱是為簡單的序列和網格而設計的，但並不是任何事物都可以表示為一個序列或一個網格。
我們怎樣才能開發出更為廣泛應用的神經網路呢？可以透過學習影像和序列的經典神經網路之外的新領域。
為什麼這很難呢？
因為網路是複雜的！
- 任意大小和複雜的拓撲結構（即沒有像網格那樣的空間區域性性）；
- 無固定節點順序或參考點；
- 通常是動態的，具有多模態特徵；
圖形神經網路
GNNs的表現力如何？
理論框架：描述GNNs的判別力
- 描述GNNs判別能力的上界；
- 提出一種超級強大的GNNs；
- 描述GNNs的辨別力；
關鍵點：根子樹
強大的GNN能夠區分不同結構的根子樹。
想法：如果GNN函式是內 射的，GNN可以捕獲/區分根子樹結構；
定理：最具判別力的GNN使用內 射多集函式進行相鄰聚集；
如果聚合函式是內 射的，則GNN可以完全捕獲/區分根子樹結構。
GNNs的重要性
1.GNNs能做兩件事：
- 學習如何從附近節點“借用”特徵資訊以豐富目標節點；
- 每個節點可以有不同的計算圖，網路也可以捕獲/學習其結構；
2.可選擇計算圖：
- 聚合不需要在所有鄰近點間發生；
- 可以對鄰近點進行選擇/抽樣；
- 在實踐中獲得巨大成效；
3.我們瞭解GNNs的失敗案例：
- GNNs無法區分同構節點；
- 結構感知Vs位置感知。