步入2021，大熱的GNN會在哪些應用領域大展拳腳呢？
機器之心發表於2021-01-24
近年來，由於圖結構的強大表現力，用機器學習方法分析圖的研究越來越受到重視。圖神經網路（GNN）是一類基於深度學習的處理圖域資訊的方法。由於其較好的效能和可解釋性，現已被廣泛應用到各個領域。在本文中，機器學習研究科學家 Sergei Ivanov 盤點一下 2021 年需要了解的 GNN 應用熱點，涵蓋了推薦系統、組合最佳化、計算機視覺、物理 / 化學以及藥物發現等領域。
圖結構資料是來自使用者與電子商務平臺上產品互動的上下文中，因此，許多公司採用 GNN 進行產品推薦。一個標準的案例是對使用者於商品的互動關係進行建模，然後以某種形式的負取樣損失學習節點嵌入，並使用 KNN 索引實時檢索給定使用者的相似商品。首批使用這種 pipeline 的公司是 Uber Eats，該公司透過 GraphSage 網路推薦食品和餐館。此外，對於食品推薦，由於推薦的地理限制，生成的圖相對較小，但一些公司在數十億個邊緣的規模上成功使用了 GNN。中國零售業巨頭阿里巴巴在擁有數十億使用者和產品的網路上使用圖嵌入技術和 GNN。構建這樣的圖可能是工程上的噩夢，但是對於最近的 Aligraph pipeline 而言，僅需五分鐘即可構建具有 4 億節點的圖。Aligraph 支援高效的分散式圖形儲存、最佳化取樣運算子以及大量內部 GNN。它目前部署在阿里巴巴的多個產品中，用於推薦和個性化搜尋。
阿里巴巴、 亞馬遜和許多其他電商公司使用 GNN 來增強推薦系統的能力。類似地，Pinterest 提出了 PinSage 模型，該模型使用個性化 PageRank 有效地對鄰域進行取樣，並透過在每個鄰域中聚合來有效地更新節點嵌入。他們的後續 PinnerSage 進一步擴充套件了該架構，用以處理多種嵌入問題，以滿足不同的使用者需求。這些只是該領域的幾個值得注意的例子（你也可以檢視 Amazon 關於知識圖譜和 GNN 的研究或 Fabula AI 使用 GNN 進行虛假新聞檢測的研究，但很明顯，如果來自使用者互動的資訊足夠強大的話，GNN 會在推薦系統問題上得到不錯的結果）。組合最佳化（combinatorial optimization, CO）問題的求解是金融、物流、能源、生命科學和硬體設計中的關鍵。這些問題大多是用圖表示的。因此，上個世紀的大量研究都集中在更有效地解決 CO 問題的演算法上；然而，機器學習驅動的現代計算革命為解決此類問題的方法提供了一種引人矚目的新方式。谷歌大腦團隊使用 GNN 最佳化了新硬體（如 Google 的 TPU）晶片塊的功耗、面積和效能。計算機晶片可以理解為由記憶體和邏輯部件組成的圖，每個圖均由其部件的座標和型別表示。確定每個元件的位置，同時遵守密度和佈線擁塞的限制，這是一個費力的過程，但仍然是電氣工程師的工作重點。谷歌大腦團隊利用 GNN 模型與策略和收益強化學習（RL）功能相結合，生成最佳化的電路晶片佈局，甚至優於手工設計的硬體佈局。
另一種方法採用不同的途徑，將 ML 模型整合到現有求解器中。例如，Gasse 等人在論文《Exact Combinatorial Optimization with Graph Convolutional Neural Networks》中提出了一種用於學習分支定界變數選擇策略的圖網：混合整數線性規劃（MILP）求解器中的關鍵步驟。透過這種方式，學習到的表示試圖最小化求解器的執行時間，並顯示出在推理時間和決策質量之間的良好平衡。在 DeepMind 和谷歌的最新研究《Solving Mixed Integer Programs Using Neural Networks》中，圖網被用於 MILP 求解器中的兩個關鍵子任務：聯合變數分配和限制目標值。他們提出的神經網路方法是包括 Google 生產包裝和計劃系統在內的龐大資料集上現有求解器速度的 2 至 10 倍。有關此主題的更多內容，請參考《Reinforcement Learning for Combinatorial Optimization: A Survey》等綜述論文。由於世界上的一切物件是密切聯絡的，包含這些物件的影像也可以從 GNN 中受益。感知影像的其中一種方法是透過場景圖（論文《Scene Graph Generation by Iterative Message Passing》），即出現在影像中的物件以及它們之間關係的集合。場景圖已在影像檢索、理解和推理、字幕生成、視覺問答以及影像生成中得到了應用，該方法可以極大地提高模型的效能。在 Facebook 的論文《Specifying Object Attributes and Relations in Interactive Scene Generation》中，研究者可以將 CV 資料集 COCO 中的物件放置在畫布中，並指定物件的位置和大小以建立場景圖。然後他們使用 GNN 對影像進行編碼以確定每個物件的嵌入，進而將其與 CNN 一起使用以生成物件的 mask、邊框和外觀。最終，使用者可以方便地在圖形中新增新節點（指定該節點的相對位置和大小）以使 GNN/CNN 使用這些物件生成影像。
CV 中影像的另一個來源是兩個相關影像的匹配，這是一個經典問題，過去採用手工描述符實現。3D 圖形公司 Magic Leap 釋出了一種名為 SuperGlue 的 GNN 體系架構，該架構可在實時影片中執行圖形匹配，用於 3D 重建、位置識別、本地化和對映（SLAM）等任務。SuperGlue 包含一個基於注意力的 GNN，它學習影像關鍵點的表徵，進而饋入匹配的最優傳輸層。該模型在現代 GPU 上實時執行匹配，並且可以輕鬆整合到現代 SLAM 系統中。有關圖形與計算機視覺相交的更多內容，請檢視綜述文章《Computing Graph Neural Networks: A Survey from Algorithms to Accelerators 》。生命科學得益於將粒子或分子之間的互動表示為一個圖，然後用 GNN 預測這類系統的性質。在 Facebook 和 CMU 的開放催化器專案（Open Catalyst Project）專案中，最終目的是找到儲存太陽能或風能等可再生能源的新方法。其中一個可能的解決辦法是透過化學反應將這種能量轉化為其他燃料，例如氫。然而，這需要發現能夠以高速率驅動化學反應的新催化劑，並且諸如 DFT 的已知方法成本高昂。開放催化劑專案開源了一個最大的催化劑資料集以及 DFT 弛豫和 GNN 基準方法。目的是希望找到新的高效且低成本的催化劑分子。
吸附物（小連線分子）和催化劑表面的初始和鬆弛狀態示例。DeepMind 的研究者還應用 GNN 來模擬水或沙等複雜粒子系統的動力學過程。透過在每一步預測每個粒子的相對運動，就有可能合理地重建整個系統的動力學，並進一步瞭解控制運動的基本規律。例如，這種方法被用來理解玻璃化轉化，這是固態理論中最有趣的尚未解決的問題之一。使用 GNN 不僅可以模擬過渡過程中的動力學，還可以更好地理解粒子如何根據距離和時間相互影響。此外，位於美國的物理實驗室費米國立加速器實驗室（Fermilab）致力於將 GNN 遷移到 CERN 的大型強子對撞機（LHC）的結果分析上。其目標是處理數百萬張影像，並選擇那些可能與發現新粒子有關的影像。他們的任務是在 FPGA 上實現 GNN，並將其與資料採集處理器整合，這樣就可以在世界各地遠端執行 GNN。要了解 GNN 在粒子物理中的更多應用，請檢視 Jonathan Shlomi 等人論文《Graph Neural Networks in Particle Physics》。製藥公司每年都會投入數十億美元的研發資金用來尋找藥物開發的新模式。在生物學中，圖可以表示為不同規模的互動。在分子水平上，圖的邊緣可以是分子中原子之間的鍵或蛋白質中氨基酸殘基之間的相互作用。而在更大的範圍內，圖可以表示更復雜的結構（如蛋白質、mRNA 或代謝物）之間的相互作用。根據特定的抽象層次，這些圖可用於目標識別、分子性質預測、高通量篩選、新型藥物設計、蛋白質工程和藥物再利用等領域。
基於 GNN 的藥物發現時間表。Gaudelet et al., 2020或許，使用 GNN 進行藥物發現最有希望的是 2020 年 MIT 研究者以及合作者發表在《細胞》（Cell）上的文章《A Deep Learning Approach to Antibiotic Discovery》。在這項研究中，他們提出了一種被稱為 Chemprop 的深度 GNN 模型，用來預測分子是否具有抗生素特性：對大腸桿菌的生長抑制作用。在僅使用 FDA 批准的藥物庫中的大約 2500 個分子對其進行訓練後，Chemprop 被應用於更大的資料集，包括包含 Halicin 分子的 Drug Repurposed Hub。值得注意的是，以前僅對 Halicin 分子進行過研究，因為其結構與已知抗生素相差很大。然而，實驗室進行的體內體外臨床試驗都證明了 Halicin 是廣譜抗生素。針對強大 NN 模型的廣泛基準測試表明瞭在 Halicin 發現中使用 GNN 學習特徵的重要性。除了這項研究的實用性之外，Chemprop 架構也值得更多的關注。與其它 GNN 模型不同，Chemprop 有 5 層和 1600 個隱藏維，在此類任務上引數遠遠多於典型的 GNN。當然，這只是少數即將在 AI 中發現的新醫學之一。有關此主題的更多結果，請檢視最近的一篇綜述文章《Utilising Graph Machine Learning within Drug Discovery and Development》和部落格文章《What 2021 holds for Graph ML?》。原文連結：https://medium.com/criteo-engineering/top-applications-of-graph-neural-networks-2021-c06ec82bfc18