319篇文獻、41頁綜述文章講述圖神經網路用於醫療診斷的前世今生與未來

ScienceAI發表於2021-06-21
神經網路

隨著資料驅動的機器學習研究的進步，探索如何利用機器學習來分析醫療資料變得至關重要。現有方法的一個主要限制是人體生理資訊的資料結構通常是不規則的和無序的，很難將這些資料網格化為易於分析處理的格式。而圖表神經網路透過邊連線互動節點，並可以將時間關聯或解剖結構賦值給邊的權重，能夠很好地利用生物系統中的隱式資訊做出醫療診斷，引起了廣泛關注。

本文介紹圖神經網路（GNN）用於醫療診斷和分析的一篇綜述文章《Graph-Based Deep Learning for Medical Diagnosis and Analysis: Past, Present and Future》。該論文由澳大利亞 CSIRO 的 Data61 多名成員撰寫，共調研了 319 篇論文，徹底審查了不同型別的圖神經網路架構及其在醫療衛生中的應用，概述了現有技術的侷限性並討論了未來研究的潛在方向。
圖片
醫療診斷是指確定患者患哪一種疾病、何種程度的過程。疾病診斷所需的資訊是從患者的病史和各種醫學成像資料中獲得，包括功能性磁共振成像（fMRI）、磁共振成像（MRI）、電子計算機斷層掃描（CT）、超聲波（US）成像和X射線（X-ray）成像，以及其他診斷工具如電切割圖（EEG）。
然而，診斷過程不僅耗時長久，還容易產生和患者真實情況有差異的主觀解釋。藉助計算機輔助診斷系統，臨床專家已經有所受益。另外，自動化在醫療衛生服務和醫生有限的情況下也十分有益，可以提高醫療衛生系統的質量、降低成本。
GNN 是一種處理由頂點和邊構成的圖結構資訊的神經網路，近幾年已成為機器學習領域的熱點。由於化學、生物學、醫療衛生等學科的大部分資訊需要複雜的資料結構，並不適用於向量表示。而圖結構的本質是捕獲實體之間的關係，可以對它們之間的關係進行編碼，因此在這些應用中非常有用。
在醫療衛生中，圖相關的機器學習方法廣泛應用於腦活動分析、腦表面表示、解剖結構的分割和標記、多模態醫學資料分析等領域。因此，需要特別注意 GNN 在非結構（無序）和結構（有序）中的泛化。除此以外，此類方法仍然稀缺，而且它們尚且不能完全解決許多具有挑戰性的醫學問題。
文章主要貢獻有以下幾個方面：
  1. 我們確定了傳統深度學習在應用於醫學資料分析時面臨的許多挑戰，並強調了圖神經網路在克服這些挑戰方面的貢獻。
  2. 我們介紹和討論為醫學診斷提出的各種圖神經網路框架及其具體應用。我們涵蓋了使用圖網路結合深度學習技術進行生物醫學成像應用的工作。
  3. 我們總結了基於圖的深度學習當前面臨的挑戰，並根據當前觀察到的趨勢和侷限性提出醫療衛生的未來方向。

圖神經網路

本章簡要描述了該領域中最常見的基於圖的深度學習模型，包括 GCN 及其變體，具有時間依賴性和注意結構。
圖可以表示為 G = (V, E, W) 。其中 V 表示 N 個節點的集合，|V| = N ；E 表示連線這些節點的邊集；W 是鄰接矩陣，描述了任意兩個節點之間的連線權重。確定 W 中每項的值的常用方法包括基於 Pearson 相關的圖、最近鄰 (KNN) 規則方法和基於距離的圖。

圖卷積神經網路

圖卷積網路 (GCN) 擴充套件了圖域訊號處理理論，使 CNN 的表示學習能力能夠應用於不規則的圖資料。圖卷積操作旨在透過聚合其自身特徵及其相鄰頂點的特徵來生成頂點的表示。GCN 生成的關係感知表示極大地增強了 CNN 特徵的判別能力，並且模型的可解釋性可以更好地幫助臨床醫生。
基於圖的分類任務的第一步是將原始資料轉換為圖表示，然後用 GCN 學習圖的不同節點之間的內在關係。GCN 是一種結合了 GNN 和 CNN 的深度學習方法，框架如圖所示。圖池化層將來自多個頂點的資訊池化到一個頂點，以減小圖尺寸並擴大圖訊號濾波器的感受野；最後一個圖卷積層的特徵向量被連線成一個單一的特徵向量，該特徵向量被饋送到一個全連線層以獲得分類結果。
圖片GCN 框架
GCN 可以分為：基於頻譜的（spectral-based）和基於空間的（spatial-based）。Spectral-base GCN 依賴於頻譜卷積神經網路的概念，該概念建立在圖傅立葉變換和圖的歸一化拉普拉斯矩陣之上。Spatial-based GCN 定義了基於圖節點之間存在的空間關係的圖卷積操作。
其他變體還包括：具有動態權重的 GCN 、具有廣泛學習系統的動態 GCN 、邊權重、自適應 GCN 、圖域適應、基於同構圖的模型、協同 GCN 、簡單的圖卷積網路、基於圖的分割模型（例如， 3D Unet-graph 、Spherical Unet）。

時態圖網路

GNN 主要是為不隨時間變化的靜態圖開發的。然而，現實世界中圖大多是動態的，會隨著時間的推移而演變，例如，使用 fMRI 記錄的大腦活動。這種稱為時態圖的 GNN 變體旨在從圖的空間和時間依賴性中學習隱藏模式。這些模型可以分為兩種主要型別：
  • 基於 RNN 的方法：透過使用圖卷積來過濾輸入和傳遞給迴圈單元的隱藏狀態來捕獲時空依賴性。典型的模型有 Diffusion Convolutional Recurrent Neural Networks （DCRNN）和 Graph Convolutional Recurrent Network （GCRN）。
  • 基於 CNN 的方法：以非遞迴方式處理時空圖。使用時間連線來擴充套件靜態圖結構，以便他們可以在擴充套件圖上應用傳統的 GNN。典型的模型有 Spatio-temporal Graph Convolutional Network （STGCN）、 Temporal Graph Convolutional Network（TGCN）。
其他變體還包括：GCN-LSTM 、基於複雜網路的順序 GCN 、基於幾何深度學習的方法、時間自適應 GCN 、具有鎖相值的 GCN 。
圖片STGCN 架構

具有注意力機制的圖網路

在實際應用中，圖結構資料可能既龐大又嘈雜，並且不是所有資訊都同等重要。因此，注意力機制可以引導網路專注於最相關的部分，抑制無關資訊特徵，降低計算成本並提高準確性。注意力機制可以分為兩種主要型別：
  • 軟性注意力（Soft-attention）機制：端到端的方法，通常放置在編碼器和解碼器之間，可以透過基於梯度的方法學習。全注意力架構可以保留原始訊號的細節，並選擇最關鍵的資訊。
  • 自注意力（Self- attention）機制：完全依賴注意力機制也可以實現可比的效能，受此啟發，圖注意力網路（GAT）透過修改卷積操作將注意力機制融入到傳播中。在傳統的 GCN 中，權重通常取決於相鄰節點，而 GAT 中的權重是透過基於節點特徵的自注意力機制計算得來的。
其他變體還包括：特徵表示的注意力機制、多模態融合的注意力機制、加權 GAT 、邊加權 GAT 、基於注意力的 ST-GCN 、交叉模態的 GAT 。

用於醫學診斷分析的 GNN 案例研究

本章主要總結了文獻綜述中的所有案例。

大腦中的功能連線分析

圖片
功能性磁共振成像（fMRI）、靜息態功能性磁共振成像（rs-fMRI）、任務態功能性磁共振成像（t-fMRI）是將受試者分為患者或健康對照組的主要資料來源。具體包括：自閉症譜系障礙（ASD）、精神分裂症（SZ）、注意力缺陷多動障礙（ADHD）、重度抑鬱症 (MDD)、雙相情感障礙（BD）等精神疾病。
依據節點的不同，可以將用於分析 fMRI 成像的 GNN 模型大致分為兩類：（i）個體圖：節點是大腦的不同區域，邊是隨時間序列觀察的這些區域之間的功能相關性；(ii) 群體圖：每個節點代表一個具有相應大腦功能連線資料的受試者，邊為受試者表型特徵（年齡、性別等）之間的相似性。
圖片個體圖用於分析 fMRI 成像的 GNN 模型
圖片群體圖用於分析 fMRI 成像的 GNN 模型
圖片用圖卷積解碼大腦功能區域
除此以外， GNN 還被用於確定與特定認知刺激相關的大腦區域之間的關係，以及生成捕捉大腦功能和結構變化的超高解析度 MRI 影像。

基於電波圖的分析

圖片
腦電圖（EEG）被廣泛應用於情感心理狀態、情感認同等情感分析，以及癲癇等神經系統疾病診斷；心電圖（ECG）則被用於識別心臟異常。除此以外， GNN 還可以被用於睡眠階段的分類和腦機互動研究中的監測。
圖片從 EEG 訊號中提取特徵構建圖表示以對心理狀態進行分類
圖片具有 Attention 機制的 GNN-LSTM 用於 EEG 訊號的分析

解剖結構分析（分類和預測）

圖片
基於 MRI 資料， GNN 模型可以對阿茲海默和帕金森疾病進行分類；基於 CT 圖片， GNN 模型可以對結核病、 COVID-19 進行分類；基於 X 光片， GNN 模型可以對胸部疾病、乳腺癌、腎病進行分類；基於擴散磁共振成像（DMRI）資料， GNN 模型可以對大腦資料做出預測。
圖片基於共同學習標籤的 GCN 框架，以探討具有語義資訊指導的潛在異常，包括病理共同發生和相互依賴性

解剖結構分析（分割）

圖片
在不同的醫學影像分割和標記方法中，基於圖網路的方法顯示出有前景的臨床應用結果。主要用於血管分割（冠狀動脈、肺動脈和靜脈、視網膜血管、顱內動脈、頭部和頸部血管）和器官分割（腦皮質、呼吸道、腦組織、眼睛、胰腺和脾臟、前列腺、淋巴結）兩大類。
圖片用於腦皮質分割的球形U-NET架構

研究挑戰和未來方向

本章強調了當前用於醫學診斷的 GNN 的侷限性，並提供了一些文獻中未涵蓋的 GNN 在醫療衛生中使用的研究方向和未來的可能性，例如行為分析。

七個主要挑戰

  1. 圖表示和估計：大多數研究中的圖結構都是手動設計的，缺乏統一的結構知識；不同的屬性和任務需要不同的模型架構，圖結構估計就是為了找到合適的圖，以將資料表示為研究所需的輸入形式。
  2. 動態圖和時間圖：許多現實世界的醫學應用是動態的，這意味著圖的節點、邊和權重可以隨時間變化。因此，靜態圖在時間場景中工作表現不佳。
  3. 圖模型的複雜性和訓練效率：GCN 與它的變體有著相當大的複雜性，這對於不太具有挑戰的應用程式來說可能是苛刻且不必要的，需要更簡單的圖神經網路模型。
  4. 可解釋性和可解讀性：缺乏透明度被認為是 AI 在臨床實踐中採用的主要障礙之一，邁向值得信賴的 AI 的一步是可解釋 AI 的發展。
  5. 圖模型的泛化：難以使用異構資料構建準確和強大的學習模型，由於患者隱私和臨床資料管理要求，真正集中的開源醫療大資料集團用於深度學習十分罕見，這就需要模型具有很強的泛化能力。
  6. 資料標註效率和訓練正規化：由於深度學習利用高度資料驅動的分層特徵表示，醫療應用有幾個關鍵挑戰，包括註釋稀缺、複雜註釋和弱註釋，以及標籤的稀疏性。
  7. 不確定性的量化：在醫學應用中，不確定性可以分為偶然不確定性和認知不確定性：偶然不確定性由資料中的噪聲產生；認知不確定性則可能源於模型的不完整。 

三個可能的方向

  1. 面部分析：臨床專家依靠某些面部特徵和症狀進行輔助醫學診斷，並且已引入計算機視覺來提供面部特徵的自動和客觀評估。然而， CNN 主要關注面部各區域，沒有考慮面部運動之間隱藏的相互關係，這可以用 GCN 捕獲。因此，在臨床環境中使用 GNN 建立互補的圖表示和關係推理方法還有待探索。
    潛在應用：術後疼痛管理、血管脈搏監測、面癱評估，以及幾種神經和精神疾病，包括癲癇、多動症、自閉症、雙相情感障礙和精神分裂症。
圖片透過 GCN 對面部動作單元進行建模
  1. 人體姿勢定位：人體姿勢捕捉重要的健康相關指標，在評估癲癇、睡眠監測和手術恢復等醫療狀況方面具有潛在價值。由於人體姿勢估計與圖形結構有關，因此 GCN 可以以靈活的方式處理骨架資料。
    潛在應用：病床上姿勢估計，以跟蹤手術和疾病恢復以及其他睡眠障礙（如呼吸暫停、壓瘡和腕管綜合徵）造成的損傷。
圖片採用圖迴歸來學習用於變化的時空圖作為 GCN 的輸入，用於動作特徵學習
  1. 基於姿勢的動作識別和行為分析：運動評估和監測是臨床觀察過程中的有力工具，並有助於診斷運動和精神障礙。然而，如前所述，骨架本身是圖的形式。基於圖的人體骨骼表示有一個顯著的特點：i）關節和骨骼資訊是互補的，將它們結合起來可以進一步改進基於骨骼的動作識別；ii) 時間連續性不僅存在於關節之間，也存在於身體結構中；iii) 空間域和時間域之間存在共存關係；iv) 骨架序列的時間動態也包含識別任務的重要資訊。
    潛在應用：

    • 運動障礙：癲癇、帕金森、阿爾茨海默病、中風、震顫、亨廷頓舞蹈症和神經發育障礙。

    • 精神障礙：痴呆症、精神分裂症、重度抑鬱症、躁鬱症和自閉症譜系。

    • 其他情況：呼吸障礙、住院患者跌倒預測、諸如躁動、抑鬱、譫妄、異常活動或評估醫院環境中的人際交往等健康狀況。

圖片身體部位之間的物理關係用於構造圖卷積的鄰接矩陣

論文連結：https://arxiv.org/abs/2105.13137

相關文章