-
文章轉自微信公眾號：「機器學習煉丹術」
-
作者：煉丹兄（已授權）
-
聯絡方式：微信cyx645016617（歡迎交流共同進步）
-
論文名稱：“Dual Network Generative Adversarial Networks for Pediatric Echocardiography Segmentation”
0 準備工作
0.1 生詞
- Pediatric 兒童的
- Pediatric echocardiography 小兒超聲心動圖
- CHD ： congenital heart disease 先天心臟病
0.2
1 綜述
為了獲得高質量的分割結果，目前臨床上小兒超聲心動圖的分割主要由超聲工作者手工完成，這既費時費力，又高度依賴於超聲工作者的專業水平。為了解決這些問題，本文提出了一種新的卷積神經網路（CNN）結構，稱為雙網路一般對抗網路（DNGAN）。DNGAN由一個產生器和兩個鑑別器組成，產生器採用並行對偶網路來提取更多有用的特徵以提高效能。我們使用雙重鑑別器來強制生成器學習更多的空間特徵，並更準確地分割左心的邊緣。
2 問題提出
圖中是兒童的心臟的左心室和左心房的分割標註label，可以發現：左心房的變化比較明顯，並且內壁會存在模糊，因此目前的對於四腔的分割存在一下挑戰：
（1）因為噪音和模糊出現的邊界不清晰；
（2）心臟的尺寸對於不同人是不同的；
（3）每一個心動週期心房和心室的變化是不同的。
3 模型結構
這個DNGAN的結構如上所示：包含一個生成器和兩個鑑別器。
3.1 generator
由一個U-net和FCN並行構成，分別從輸入圖片中提取兩種特徵，然後特徵進行畫素相乘.
FCN輸出的特徵圖為\(f_1\),U-net輸出的特徵圖為\(f_2\),那麼由generator輸出的影像分割結果為\(F_G = f_1 \times f_2\).
3.2 discriminator
是一個六層的全卷積網路，然後分別用7，5，3作為卷積核的大小。卷積層後面跟著BN層和LeakReLU啟用層。
使用的是multi-scale L1損失，類似於2014年的影像分割網路Richer conv net。
4 損失
4.1 generator損失
先回顧一下一般的GAN的損失函式：
在公式中：
- x是real image
- z是random import for generator
- G(z)是生成的mask
- D(x) 是判別起判斷x是true的概率
再來看一下DNGAN的損失函式：
-
N為樣本的數量；
-
\(x_n\)為某一張兒童超聲心動圖四腔圖，\(y_n\)為對應的ground truth；
-
\(l_m\)是mean absolute error，也就是我們說的L1loss；
這個可以看到，\(f_D(x)\)是discrimintor提取的特徵，L表示discrimintor的層數，所以\(f_D^i(x)\)表示discrimintor第i層提取出來的特徵圖 -
\(l_{cos}\)就是常說的cross entropy；
-
\(l_{D_2}\)是第二個discriminitor的損失函式，也比較複雜我們來看一下，這個損失函式分辨的是：輸入的是生成的mask還是真實的mask。
5 資料描述
- 資料集包含87個兒童超聲心動圖；
- 蒐集的是0到10歲的健康的兒童，每個視訊至少包含24幀和一個完成的心動週期；
- 隨機選擇67個視訊，抽取了1765個圖片作為訓練集；剩下20個視訊抽取451個視訊作為測試集；
- 原始圖片的解析度是1016x708或者636x432，所有的圖片經過中心crop後變成704x704和448x448；
6 總結
1, 這篇文章的結果和過程存在疑點，文章中出現一處公式的疑似符號錯誤。
2, 文章中的並沒有給出第二個discrimintor的loss使用MSE和BCE的平均值的原因，不確定是否之前就有文章已經討論過這個樣做的優勢。從結果來看，使用GAN的框架來訓練造成的提升並不高，反而提升分割精度的重點應該是分割網路的特徵融合和寬度增加。
3， 文章使用GAN應用在兒童超聲心臟病上的出發點很好，希望可以幫助更多的兒童擺脫先天性心臟病的困擾。