TPAMI 2024 | 自適應區域特定損失:提高影像分割效能

CV技术指南(公众号)發表於2024-08-18
前言 本文引入了一個區域特定的損失來提升隱含的均勻加權假設,以實現更好的學習,將整個體積劃分為多個子區域,每個子區域都構建了一個針對最佳區域性效能的個性化損失。有效地,這個方案對更難分割的子區域施加了更高的權重,反之亦然。此外,在訓練步驟中為每個輸入影像計算了區域的假陽性和假陰性誤差,並相應地調整了區域懲罰,以提高預測的整體準確性。

歡迎關注公眾號CV技術指南,專注於計算機視覺的技術總結、最新技術跟蹤、經典論文解讀、CV招聘資訊。

本文轉載自PaperEveryday

僅用於學術分享,若侵權請聯絡刪除

CV方向的準研究生們,未來三年如何度過?

招聘高光譜影像、語義分割、diffusion等方向論文指導老師

題目:Adaptive Region-Specific Loss for Improved Medical Image Segmentation

自適應區域特定損失:提高醫學影像分割效能

作者:Yizheng Chen; Lequan Yu; Jen-Yeu Wang; Neil Panjwani; Jean-Pierre Obeid; Wu Liu; Lianli Liu; Nataliya Kovalchuk


關鍵詞

  • 深度學習 (Deep learning)
  • 損失函式 (Loss function)
  • 醫學影像 (Medical image)
  • 神經網路 (Neural network)
  • 分割 (Segmentation)

I. 引言

在醫學影像上進行器官輪廓的描繪是許多臨床程式中的關鍵步驟,通常在臨床實踐中是手動完成的[1][2]。然而,手動描繪涉及的器官是一項勞動密集且耗時的任務,並且結果可能依賴於操作者[3][4]。以頭頸癌病例為例,劑量測量師或醫生可能需要花費數小時來描繪放射治療計劃中的數十個器官,這在很大程度上限制了患者護理的質量和效率。因此,臨床上迫切需要自動描繪工具[5][6]。

近期,深度學習方法在自動分割方面取得了巨大成功。事實上,基於卷積神經網路(CNN)的演算法[7][8][9][10][11][12][13][14][15][16]和新興的基於變換器網路的方法[17][18][19][20]正越來越多地被用於計算機斷層掃描(CT)、磁共振成像、超聲等醫學成像方式中的腫瘤和正常組織的自動分割。

在深度學習中,損失函式通常用於測量網路預測與真實標註之間的差異,並指導網路引數的最佳化[21][22][23][24][25][26][27]。Dice損失和交叉熵損失是該任務中最有代表性的兩種損失函式[28][29][30]。簡單來說,前者計算預測分割體積與真實標註之間的重疊程度,而後者則測量兩者之間的逐畫素差異。然而,這兩種損失函式都沒有考慮到系統的異質性[31][32][33],對所有畫素一視同仁。一些畫素,如組織對比度低的器官邊界附近的畫素,通常更難被描繪。這些“困難”的畫素通常是限制當前深度學習網路效能的因素。因此,更多地關注這些畫素可能會提高學習效率和自動分割效能。

在本研究中,我們提出了一種區域特定的損失方案,以改善深度學習的決策。如圖1所示,與計算整個影像體積的預測和真實標註之間重疊的傳統Dice損失不同,我們將體積劃分為子區域,並分別最佳化每個子區域的網路預測。這種區域特定的損失允許自動調整每個子區域的權重,以便更多地強調難以實現高預測準確性的子區域。

TPAMI 2024 | 自適應區域特定損失:提高影像分割效能

通常,隨著訓練步驟的進行,由於假陽性(FP)和假陰性(FN)兩種型別的分割誤差在訓練過程中的變化,網路預測的準確性也會變化[34]。換句話說,使用預定義的損失函式並不總是能夠獲得最優的網路學習結果。例如,在Dice損失中,FP和FN誤差被同等強調,這對應於精確度和召回率的調和平均。在某些情況下,醫學影像自動分割中兩種誤差型別可能存在嚴重的不平衡。當分割目標遠小於背景時,網路通常更容易出現FN誤差而不是FP誤差。Dice損失被擴充套件為Tversky損失[35],以實現兩種型別誤差之間的靈活權衡。然而,這種損失函式的效能對控制兩種型別誤差之間權衡的超引數非常敏感。Seo等人[34]進一步將Tversky損失擴充套件為一個通用損失函式,設計了一種策略,在訓練過程中逐步調整損失引數,以獲得更好的效能。為了獲得最佳效能,我們採用了類似的策略,透過在網路訓練過程中根據區域性預測結果自適應調整FP和FN誤差之間的權衡,來最佳化區域特定的損失。

本研究的主要貢獻如下:

  • 我們提出了一種新穎的區域特定損失概念,以提高深度學習預測的效能。
  • 我們開發了一種演算法,在訓練過程中自適應調整區域特定損失函式的超引數,以最佳化區域性FP和FN誤差之間的平衡。
  • 我們在不同的CT分割資料集上進行了實驗,並證明了所提出方法的有效性。

所得到的自適應區域特定損失函式非常廣泛,可以應用於大多數分割學習框架,無需修改網路架構或更改資料預處理程式。區域特定框架也可以推廣到許多其他深度學習任務。接下來,我們首先在第二節中討論相關工作,並在第三節中詳細闡述我們的方法。實驗條件和結果在第四節中描述。然後我們在第五節中討論我們方法的關鍵點和結果,並在第六節中得出結論。

III. 提出的方法

A. 傳統的Dice損失

在影像分割中,網路預測由每個畫素屬於目標器官還是背景的機率組成。Dice相似係數(DSC)[49]通常用於衡量網路預測體積與真實標註之間的空間重疊程度。它定義為:

其中P和G分別表示預測和真實標註的體積。基於DSC,提出了深度學習基礎的分割的Dice損失函式,大致等於1-DSC,定義為:

TPAMI 2024 | 自適應區域特定損失:提高影像分割效能

其中 表示網路預測畫素i屬於目標器官的機率, 表示相應的二進位制真實標註值。V表示整個影像體積,常數 在這裡使用,以避免除以零的奇異性。因此,Dice損失的最佳化目標是完全重疊預測和真實標註體積。Dice損失方程可以針對預測的第j個畫素進行微分,得到梯度:

TPAMI 2024 | 自適應區域特定損失:提高影像分割效能

在自動分割學習過程中,目標器官的某些部分,如內部區域或具有明顯對比度的一些地標,通常可以被網路以高準確度輕鬆預測。另一方面,對於一些其他部分,如成像對比度低的器官邊界區域,網路可能難以準確分類畫素,導致分割結果較差[26][30][36]。遺憾的是,傳統的Dice損失只針對整個體積重疊進行最佳化,因此目標或背景區域內的每個畫素都被同等對待,沒有考慮不同子區域可能出現的各種分割困難,這可能導致次優網路。

B. 區域特定損失

為了克服上述Dice損失的限制,我們提出了一種新穎的方法,進行區域特定增強。為了解決對影像體積不同部分強調需求的差異,我們將預測體積V劃分為K個不同的子體積 ,並分別對它們進行Dice損失計算。透過這種方式,每個區域性或區域Dice損失只關注一個特定子區域的預測最佳化,與其他子區域的最佳化無關。最終的區域特定損失是所有子區域的區域Dice損失的總和:

TPAMI 2024 | 自適應區域特定損失:提高影像分割效能

根據(3),區域特定損失的梯度只受子區域內的預測和標籤分佈的影響,而不是像全域性Dice損失那樣受整個影像體積的分佈影響。由於預測和標籤分佈在子區域之間是不同的,畫素的預測對網路最佳化的貢獻取決於其位置。如果子區域可以被網路輕鬆預測,則該子區域內的預測值將非常接近相應的真實標註值。這導致該子區域內的最終梯度值接近零,對該子區域的預測最佳化分配的權重較小。因此,所提出的區域特定損失可以隱式地並且自動地透過降低被良好預測的子區域的重要性,在訓練過程中實現區域特定的加權,從而提高深度學習效率。在本研究中,每個案例的預測體積被劃分為16×16×16子區域網格,用於區域特定損失的計算。

C. 自適應區域特定損失

在畫素級分割學習中,網路嘗試最大化真正例(TP)預測並最小化假正例(FP)和假負例(FN)誤差。DSC可以被視為精確度(P = TP/(TP + FP))和召回率(R = TP/(TP + FN))的調和平均[30],因此在Dice損失函式中,FP和FN被同等加權。對於醫學影像分割,一些目標器官的體積通常比背景體積要小得多,這可能導致嚴重的資料不平衡問題,使網路預測偏向背景,FN誤差在網路訓練期間往往比FP誤差更為主導。為了在精確度和召回率效能之間實現更好的權衡,開發了Tversky損失函式[35],定義如下:

TPAMI 2024 | 自適應區域特定損失:提高影像分割效能

注意,Tversky損失比Dice損失更通用,並且當α = β = 0.5時,它退化為1-DSC。當β大於α時,Tversky損失更多地強調FN誤差以提高召回率。原始Tversky損失中的α和β引數在訓練前預定義。由於這些引數的選擇嚴重影響最終學習效能,它們的值通常透過手動試錯進行微調以實現最優預測,這是一個計算成本高昂的過程。此外,網路在訓練過程中的召回率和精確度效能會發生變化,因此使用預先選定的超引數可能導致次優效能[34]。在這裡,我們進一步引入了基於所提出的區域特定損失的每個子區域的自適應誤差懲罰。考慮到Tversky損失比Dice損失更通用,可以控制FP和FN誤差之間的權衡,因此在本研究中,它被用作自適應區域特定損失計算的基礎:

TPAMI 2024 | 自適應區域特定損失:提高影像分割效能TPAMI 2024 | 自適應區域特定損失:提高影像分割效能

其中引數 和 在訓練過程中進行微調,以強調不同型別的區域誤差並最佳化網路學習。根據Tversky損失(5),α和β分別懲罰FP和FN誤差。在特定子區域中,如果FP誤差大於FN誤差,則應增加α的值以增加對FP誤差的懲罰並提升精確度。同樣,β的值將增加以懲罰FN誤差並提升召回率。具體來說,設計了以下演算法根據給定子區域Vk中FP和FN誤差的比例調整 和 引數:

TPAMI 2024 | 自適應區域特定損失:提高影像分割效能

根據(7)和(8), 和 的值在[A, A+B]範圍內變化,並分別隨著FP和FN誤差的比例線性增加。因此,根據訓練過程中子區域內網路預測結果,損失函式對FP和FN誤差的強調會自適應地進行微調。我們在本研究中經驗性地將常數係數A和B設定為0.3和0.4,並在消融研究中進一步探索超引數調整範圍的影響。請注意,在子區域中FP = FN的情況下, ,這意味著損失函式對兩種預測誤差給予同等的重要性,接近(4)。提出的具有自適應區域特定損失(6)-(8)的深度學習框架如圖2所示。所提出的損失方案不僅提供了透過更多地關注難以預測的不同子區域的有效方法,而且還實現了在訓練過程中根據自動調整的函式引數對每個子區域進行自適應誤差懲罰,這有望實現更有效的自動分割學習。

TPAMI 2024 | 自適應區域特定損失:提高影像分割效能

D. 網路和訓練細節

我們實現了一個帶有批次歸一化[50]和dropout[51]的V-Net[28]架構,用於醫學影像中3D多器官自動分割。網路的輸入是整個影像體積,輸出是基於Softmax啟用的所需目標器官和背景的相應畫素級機率圖。我們在實驗中使用傳統的Dice損失和交叉熵損失作為基線損失函式的組合,這已在多器官分割研究中廣泛使用[52][53][54]:

其中C是目標器官總數加一(背景),λ是Dice損失 和交叉熵損失 之間的權衡。採用Adam演算法[55]來最佳化網路權重。透過使用包括隨機翻轉、平移和縮放在內的各種影像變換,應用了即時資料增強,以增加不同資料表示的多樣性。該框架在PyTorch中實現,並在具有11 GB記憶體的NVIDIA GeForce RTX 2080 Ti GPU上執行計算。

IV. 實驗

A. 資料集和預處理

為了分析我們方法的有效性,我們使用了兩個獨立的醫學影像資料集來進行頭頸部器官的自動分割,另外兩個腹部和肝臟資料集在消融研究中使用以進一步驗證。PDDCA 資料集:第一個公共資料集是來自 2015 年 MICCAI 頭頸部自動分割挑戰賽的公共計算解剖資料庫 (PDDCA) [56]。該資料集包含來自 48 個患者案例的頭頸部 CT 影像,每個案例都標註了九個器官的輪廓:腦幹、視神經交叉、下頜骨、左和右視神經、左和右腮腺、左和右下頜下腺。每個器官的二進位制掩碼從相應的輪廓資料生成,並作為網路訓練的標籤。背景的掩碼也根據器官掩碼生成。每個 CT 影像的平面畫素間距範圍從 0.76 到 1.27 毫米,層間距從 1.25 到 3.0 毫米。影像和標籤體積被裁剪以適應患者輪廓,然後調整到固定的解析度為 1.5 毫米 × 1.5 毫米 × 1.5 毫米。採用 [-200, 400] 視窗對影像畫素強度進行閾值處理,然後將強度重新縮放到 [-1, 1] 以去除不相關細節。總體上,選擇了 32 個案例進行網路訓練,6 個案例進行驗證,10 個案例進行測試。內部資料集:第二個內部資料集包含從史丹佛大學醫學中心收集的 67 個臨床頭頸部 CT 掃描,符合機構審查委員會 (IRB) 指南。對於每個患者掃描,醫生手動描繪了 14 個器官並用作真實標註,包括腦幹、左和右臂叢、食管、喉、嘴唇、下頜骨、口腔、左和右腮腺、咽、脊髓、左和右下頜下腺。原始影像體積被裁剪並重新取樣為 128 × 144 × 256 大小。影像強度被截斷到 [-160, 240],然後歸一化到 [-1, 1]。總體上,隨機選擇了 49 個案例進行訓練,8 個案例進行驗證,10 個案例進行測試。腹部資料集:為了進一步驗證所提出方法在不同身體部位的有效性,使用了在 MICCAI 2015 多圖譜腹部標記挑戰賽 [57] 中釋出作為消融研究的資料集。該資料集包含 30 個來自患者的對比增強 3D 腹部 CT 掃描。影像體積被裁剪並重新取樣為 144 × 96 × 112 大小。影像強度被截斷到 [-500, 800],然後歸一化到 [-1, 1]。我們報告了八個腹部器官(主動脈、膽囊、左腎、右腎、肝臟、胰腺、脾臟、胃)的 DSC。採用三重交叉驗證,20 個案例用於訓練,10 個案例用於驗證。LiTS 資料集:另一個公共肝臟資料集來自 2017 年肝臟腫瘤分割 (LiTS) 挑戰賽 [58],[59]。該資料集包括 131 個患者案例,每個案例都有對比增強的 3D CT 掃描,每個案例都標註了肝臟和肝臟腫瘤的輪廓。原始影像體積被裁剪並重新取樣為 192 × 144 × 80 大小。影像強度被截斷到 [-250, 250],然後歸一化到 [-1, 1]。在訓練過程中,隨機選擇了 86 個案例,用於訓練過程,15 個案例分配給驗證,其餘 30 個案例保留用於測試目的。

B. 效能評估

為了評估我們提出的區域特定增強和自適應誤差懲罰方法在分割任務上的效能,對於每個資料集,我們在相同的網路和訓練條件下進行多器官分割學習,使用三種不同的損失函式組合:1) 僅使用基線損失(9)進行網路最佳化(基線),以獲得基線結果;2) 結合基線損失和區域特定損失(4)進行最佳化(基線+區域特定),以評估區域特定損失的增強,其中每個子區域被分別和不同地處理;3) 在訓練期間結合基線損失和自適應區域特定損失(6)(基線+自適應區域特定),進一步展示自適應微調區域特定損失中超引數的效果,展示最終提出的損失方案的效能。此外,交叉熵損失[29]和Dice損失[28]在網路訓練期間也單獨使用,以進行比較。在評估研究中,DSC 作為主要的效能指標,用於衡量自動分割結果和真實標註之間的空間重疊[36]。此外,還計算了召回率和精確度[60]、95 百分位 Hausdorff 距離(HD95)[61]和平均表面距離(ASD)[62],以進行更全面的評價。這四個指標定義如下:

TPAMI 2024 | 自適應區域特定損失:提高影像分割效能

其中 表示畫素 i 和畫素 j 之間的歐幾里得距離。

C. 實驗結果

  1. 定量結果:使用兩個頭頸部資料集研究了所提出的區域特定損失和自適應區域特定損失在自動分割學習中的效能。每個目標器官的評估 DSC 結果分別在表格 I 和 II 中總結,分別對應公共的 PDDCA 和內部資料集。平均而言,基線損失和兩種提出的方法都比常規的交叉熵損失和 Dice 損失在兩個資料集上顯示出更好的 DSC 結果。由於基線損失表示為 Dice 損失和交叉熵損失的組合,並且在效能上超過了任一單獨的損失函式,因此它被用作分析的基準。透過在基線損失的基礎上採用區域特定損失,兩個資料集的平均 DSC 分別從 0.751 和 0.657 提高到 0.764 和 0.669,證明了區域特定網路最佳化的有效性。當在訓練過程中自適應調整控制 FP 和 FN 誤差權衡的區域特定損失的超引數時,平均 DSC 進一步增強到 0.772 和 0.685。
TPAMI 2024 | 自適應區域特定損失:提高影像分割效能

TPAMI 2024 | 自適應區域特定損失:提高影像分割效能

與基線損失相比,PDDCA 資料集中 9 個器官中的 8 個和內部資料集中 14 個器官中的 12 個在訓練期間引入區域特定增強或自適應誤差懲罰後 DSC 結果有所提高。以下頜骨為例,在 PDDCA 資料集和內部資料集上,使用兩種提出的損失函式分別將 DSC 提高了 0.030 和 0.033,以及 0.026 和 0.049。表格 III 和 IV 顯示了使用三種不同損失函式在 PDDCA 和內部資料集上獲得的每個器官的平均 DSC、召回率、精確度、HD95 和 ASD 的評估結果。除了平均 DSC 外,平均召回率、精確度、HD95 和 ASD 也幾乎透過區域特定損失得到了改善,為其實效性提供了更多證據。此外,引入自適應誤差懲罰進一步提高了平均 DSC、HD95 和 ASD 值。我們注意到它對兩個資料集的召回率和精確度的影響是不同的。對於 PDDCA 資料集,平均召回率增加了 0.023(從 0.778 到 0.801),而精確度降低了 0.012(從 0.778 到 0.766),表明為了提高召回率,精確度略有犧牲。對於內部資料集,召回率僅增加了 0.006,而精確度增加了 0.016。

TPAMI 2024 | 自適應區域特定損失:提高影像分割效能TPAMI 2024 | 自適應區域特定損失:提高影像分割效能

在訓練期間,三個不同的損失函式在驗證資料集上的 DSC 效能演變如圖 3 和 4 所示,分別為 PDDCA 和內部資料集。可以觀察到,驗證效能隨著學習過程逐漸增加,並在大約 80 個週期後逐漸飽和。使用自適應區域特定損失的學習曲線優於使用區域特定損失的曲線,並且兩者都以明顯的優勢優於僅使用基線損失的曲線,展示了提出方法的好處。

TPAMI 2024 | 自適應區域特定損失:提高影像分割效能TPAMI 2024 | 自適應區域特定損失:提高影像分割效能

  1. 定性結果:圖 5 和 6 展示了自動分割結果的定性分析。透過使用區域特定損失和自適應區域特定損失,預測的器官掩模得到了改善,並且更接近真實標註標籤,明顯優於基線結果。以右側下頜下腺為例,如圖 5 的最後一行和圖 6 的第三行所示,基線網路傾向於預測比真實標註標籤大得多的掩模。這透過所提出的損失函式得到了糾正。透過目視檢查預測掩模,我們的方法有望用於臨床自動分割。
TPAMI 2024 | 自適應區域特定損失:提高影像分割效能TPAMI 2024 | 自適應區域特定損失:提高影像分割效能
  1. 消融研究:為了進一步驗證所提出的區域特定損失和自適應區域特定損失的有效性,我們進行了一些消融研究,主要在 PDDCA 資料集上。首先,我們研究了子區域劃分對區域特定損失效能的影響。透過使用不同的劃分係數(DCs),範圍從 1 到 16,這意味著整個影像體積被均勻地劃分為 DC × DC × DC 子區域,區域特定損失在公共 PDDCA 資料集上的 DSC 效能如圖 7 所示。值得注意的是,DC = 1 對應於傳統的全域性 Dice 損失。結果表明,隨著劃分的子區域數量增加和每個子區域的體積減小,區域特定損失的效能逐漸提高。
TPAMI 2024 | 自適應區域特定損失:提高影像分割效能

我們進一步研究了自適應區域特定損失中超引數調整範圍的影響,即 (7) 和 (8) 中的 A 和 B 值對其效能的影響。如圖 8 所示,隨著 αAdaptive 和 βAdaptive 的調整範圍 [A, A+B] 的增加,自適應區域特定損失的 DSC 效能逐漸增加然後飽和。因此,損失函式更大的動態調整範圍可能承諾實現兩種型別誤差之間更靈活的權衡,並實現更準確的整體預測。所提出的區域特定損失和自適應區域特定損失的效能也與其他基於區域的分割損失進行了比較,即焦點 Tversky 損失 [46]、廣義 Dice 損失 [47] 和敏感性-特異性損失 [48]。這些損失函式在 PDDCA 資料集上的 Dice 結果如表格 V 所示。它表明區域特定損失和自適應區域特定損失均優於其他三種基於區域的分割損失函式。

TPAMI 2024 | 自適應區域特定損失:提高影像分割效能

為了進一步驗證我們提出的損失正規化的普適性,我們將其應用於另一個公共腹部資料集。結果如表格 VI 所示,表明所提出的區域特定損失和自適應區域特定損失都能提高該腹部資料集的自動分割效能,器官平均 DSC 分別從 0.687 提高到 0.710 和 0.725。此外,我們的方法導致所有八個器官的 DSC 值提高。因此,我們的損失正規化有望提高不同身體部位的自動分割效能。

TPAMI 2024 | 自適應區域特定損失:提高影像分割效能

我們的方法在公共 LiTS 資料集上的 Dice 效能如表格 VII 所示。應用所提出的區域特定損失和自適應區域特定損失已經導致肝臟和肝臟腫瘤的自動分割結果得到改善。具體來說,肝臟的 DSC 從 0.942 提高到 0.950 和 0.959,肝臟腫瘤的 DSC 從 0.339 提高到 0.360 和 0.386。這些改進進一步驗證了我們提出的損失正規化的有效性。

TPAMI 2024 | 自適應區域特定損失:提高影像分割效能

V. 討論

影像自動分割是臨床實踐中的一項關鍵任務。許多研究致力於使用深度學習來自動化分割過程。在本研究中,我們首次引入了一種區域特定的損失,透過區域性和分別最佳化網路預測結果來改善基於深度學習的分割。與傳統的Dice損失不同,後者隱含地將影像體積內的所有畫素同等對待,我們的區域特定損失考慮了不同子區域實現準確分割的個別能力。在網路訓練期間,傳統Dice損失在畫素上的梯度取決於整個影像體積內的網路預測和真實標註值。因此,即使對於預測結果準確的畫素,如果整體預測不完全準確,Dice損失在這些畫素上仍然會產生非零梯度值(3)。也就是說,這些畫素可能仍然會在訓練期間為網路最佳化做出貢獻。相比之下,所提出的區域特定損失透過將整個體積劃分為多個子區域來減輕這個問題。這樣,區域損失梯度僅取決於區域性預測和真實標註值,在預測準確的子區域內梯度值接近零。因此,與傳統損失方案相比,我們的方法允許演算法更多地關注預測準確度較低的子區域。我們的實驗結果清楚地證明了區域特定損失優於傳統損失函式。基於區域特定損失,我們進一步開發了一種自適應區域特定損失,它在網路訓練期間具有自適應誤差懲罰。與在訓練前預定義的傳統損失函式不同,所提出的損失函式根據區域預測結果自適應調整FP和FN誤差的相對重點,透過微調懲罰引數。由於自適應區域特定損失分別應用於每個子區域,最佳化重點的確切調整和最終損失計算在不同子區域之間有所不同。最終的損失計算使得每個子區域具有區域特定增強和自適應誤差懲罰,以改善深度學習。值得注意的是,這裡的關鍵見解是根據學習過程中的區域預測結果自適應調整損失函式的重點。雖然在我們的自適應區域特定最佳化中使用了Tversky損失作為示例,但應強調該方法是相當通用的,其他損失函式,如敏感性-特異性損失[48],也可以在我們的方法中採用。已有一些研究將注意力直接引向目標體積的特定區域。例如,提出了基於邊界的損失,以專注於提高器官邊界附近的預測結果[26][30][32]。然而,由於在最佳化過程中直接區分距離測量度量標準是困難的,因此在應用損失函式之前必須預先計算距離圖。此外,一些複雜的網路結構,如FocusNet[63]、Ua-Net[5]和SOARS[45]也已開發用於準確的自動分割,它們首先檢測特定器官的興趣區域(ROI),然後在ROI內進行精細的自動分割。在本研究中,所提出的區域特定損失可以直接應用於大多數自動分割研究,無需額外的資料準備或修改神經網路架構。我們損失設計正規化的基本元素是Dice損失或Tversky損失,可以作為相同情況下全域性Dice損失或全域性Tversky損失的有效補充。基於區域的損失[21][30](如Dice損失)是深度學習領域中的一種重要損失函式。從理論上講,我們的區域特定損失可以推廣到其他適用基於區域損失的任務,如弱監督影像配準[64][65],以改善現有的預測結果。順便提一下,區域特定懲罰也作為放射治療計劃和劑量最佳化的一種通用技術被提出[66]。在極端情況下,如果一個子區域沒有真實前景,但預測包含前景,那麼根據(3),預測值的區域特定損失的梯度始終為零,這使得最佳化預測誤差變得困難(如果不可能)。從計算上,這種不良影響可以被緩解或最小化。一方面,在子區域內,如果特定分割目標沒有前景畫素,那麼這些畫素意味著它們屬於其他目標或背景類別。透過最佳化其他目標或背景類別的FN誤差預測,所提出的區域特定損失可以間接改善這一極端情況下特定分割目標的FP最佳化。另一方面,由於在網路訓練期間已知子區域內的真實標註,我們將不會對不在子區域內的類別應用區域特定損失。換句話說,我們將只對我們的損失應用於存在於子區域內的類別,以提高計算效率(請注意,這不會影響梯度計算)。本研究的主要目的是引入區域特定和自適應誤差懲罰概念用於損失計算,以展示這種方案對自動分割學習的承諾,但本研究的每個部分都採用了簡單的設計,未來的研究可以對其進行改進。例如,在我們的計算中,預測體積被經驗性地劃分為16×16×16網格以生成每個子區域,而沒有考慮不同目標器官特徵的潛在差異。未來的一個方向是檢查更智慧地劃分子區域的方法,以適應目標器官的大小。根據目標器官的形狀,每個子區域也可以被賦予非立方體形狀,這可以進一步探索我們的區域特定損失方案的潛力。最後,本研究使用線性關係根據FP和FN誤差的比例微調懲罰引數。一種更好地將誤差懲罰與區域預測結果相關的演算法可能會進一步提高網路學習。

VI. 結論

本研究提出了一種新穎的深度學習自動分割的區域性損失概念。我們的方法能夠在訓練過程中實現不同子區域的區域特定增強和每個子區域的自適應誤差懲罰,從而促進了更有效的網路學習。在不同的醫學影像資料集上的實驗結果表明,我們的方法在不修改網路架構或需要額外資料準備的情況下顯著提高了自動分割效能。因此,所提出的自適應區域特定損失為改善深度學習決策提供了一種有用的方法。

歡迎關注公眾號CV技術指南,專注於計算機視覺的技術總結、最新技術跟蹤、經典論文解讀、CV招聘資訊。

計算機視覺入門1v3輔導班

【技術文件】《從零搭建pytorch模型教程》122頁PDF下載

QQ交流群:470899183。群內有大佬負責解答大家的日常學習、科研、程式碼問題。

其它文章

分享一個CV知識庫,上千篇文章、專欄,CV所有資料都在這了

明年畢業,還不知道怎麼做畢設的請抓緊機會了

LSKA注意力 | 重新思考和設計大卷積核注意力,效能優於ConvNeXt、SWin、RepLKNet以及VAN

CVPR 2023 | TinyMIM:微軟亞洲研究院用知識蒸餾改進小型ViT

ICCV2023|漲點神器!目標檢測蒸餾學習新方法,浙大、海康威視等提出

ICCV 2023 Oral | 突破性影像融合與分割研究:全時多模態基準與多互動特徵學習

聽我說,Transformer它就是個支援向量機

HDRUNet | 深圳先進院董超團隊提出帶降噪與反量化功能的單幀HDR重建演算法

南科大提出ORCTrack | 解決DeepSORT等跟蹤方法的遮擋問題,即插即用真的很香

1800億引數,世界頂級開源大模型Falcon官宣!碾壓LLaMA 2,效能直逼GPT-4

SAM-Med2D:打破自然影像與醫學影像的領域鴻溝,醫療版 SAM 開源了!

GhostSR|針對影像超分的特徵冗餘,華為諾亞&北大聯合提出GhostSR

Meta推出畫素級動作追蹤模型,簡易版線上可玩 | GitHub 1.4K星

CSUNet | 完美縫合Transformer和CNN,效能達到UNet家族的巔峰!

AI最全資料彙總 | 基礎入門、技術前沿、工業應用、部署框架、實戰教程學習

計算機視覺入門1v3輔導班

計算機視覺交流群

相關文章