實驗設計
1. 採集 302 位病人的心臟三維 MRI 影響資料，並對其由認證醫師標註出其血管流量等和診斷有關的特徵和區域，同時對其進行了 12 年的跟蹤並記錄其醫療相關的事件；
2. 對比手動標記的影象分割和自動的標記和運動追蹤；
3. 對手動的模型使用常規引數，對自動化標記的資料通過深度學習模型及超引數優化分別進行模型內部的驗證；
4. 比較不同的模型在預測患者死亡率上的表現。
從上述流程可以看出，這篇文章的要點有三個，一是怎麼去做影象分割，二是做預測模型，三是如何評價模型的表現。
影象分割
對於影象分割，首先是訓練一個能夠在單個影像中確定血流量的和影象分隔的模型，之後通過不同截面下的高解析度資料，去訓練一個更加平滑的分隔模型。
通過將血液流量和影象分割變成一個多工的預測問題，通過全卷積網路，先分別提取單張圖片的特徵，之後再將不同截面的圖片的特徵整合（即上圖的左半部分），而通過不同尺度的反摺積，可以將特徵返還成影象，最終將預測的標籤和實際標籤的差作為損失函式，最終完成了影象的分割。通過不同時間段的資料，還可以對心臟的運動情況進行跟蹤。
預測死亡率的模型
不同的病人各自有自己做過的 N 次心臟 MRI，通過二層的降噪自編碼器，能夠訓練出一個能夠魯棒的用低維資料表達心臟 MRI 資料的模型。
該文的創新點在於將要預測的死亡風險也加入了待優化的損失函式，這裡的重構誤差是不同 n 次資料間 MSE 的平均值，而死亡風險使用了 Cox’s proportional hazards regression model。
這裡等式的左邊是該個體存活的概率與群體存活概率的比值，右側是 DAE 提取的特徵的加權之和，通過將損失函式定義為重構誤差和包含待預測指標的形式，DAE 需要學到既能夠再現原始的 3D 結構，又和待預測目標有關的特徵。
對於每一個待優化的權重 beta 來說，求導數後得出下面的等式：
考慮到資料是不同時間段的，而一個人只會死一次，因此對不同的時間進行了加權，最終得出要優化的與死亡率有關的損失函式。
而在超引數的優化中，使用了 PSO（粒子群演算法），待優化的引數如下表所列：
模型的效果
相比人工標記的資料 + 傳統的預測模型，全卷積網路做的影象分割 + DAE做的預測，效果如何了？
在該問題中，對每個患者的存活率的預測是一個連續值，而是否存活是一個 0 或1的問題。為此，按照預估存活率在人群的前 50% 或後 50%，將人群分成了高風險與低風險，下圖的 A 是人工標記資料的模型，b 是全部用深度學習做的模型，藍色的代表低風險，紅色代表高風險，線旁邊的框代表了 95% 的置信區間。
圖中展示的是醫學中常用的 Kaplan–Meier 曲線，反映的是病人在患病不同年份之間的死亡率，其中的 P 值代表了統計上紅色和藍色的差距。B 圖相比 A 圖，不止 P 值更低，而且在不同的年份間始終預測的更準，而手動的模型至少在最初幾年，效果是差一些的。
模型的可解釋性
醫學與深度學習的結合，模型的可解釋性始終會受到格外的關注。不止是由於醫學樣本的樣本量小，人們對涉及生死的事情，需要最終能歸結到生物本身的機理上。
該模型對 4D 的資料用 Laplacian eigenmaps 降維到 2D 後，按照存活的年份，進行了聚類，可以看到顏色相近的點也在一起，而 b 圖暫時了遊離壁和間隔對模型預測的顯著性，從而給出了模型的預測的視覺化解釋。
總結
該文的亮點在於首先做到了 4D 影像資料的全自動處理（之後的新資料不需要人工標註），以及改變自編碼器的損失函式做迴歸問題。由於該文只用了一家醫療機構的 302 位患者的資料，因此只對該模型利用 70% 訓練集，30% 驗證集的方式進行了內部的調優，最後在全部 302 名患者中得出了對比圖，因此該模型有過擬合的可能性。
並且該模型預測的存活率，難以指導醫療，如果能夠根據更大規模的資料，結合生活習慣的問卷，預測不同的生活習慣，例如持續的運動，低鹽低脂的飲食，是否對不同的人患者有不同的存活率影響，即對於堅持運動的人和不堅持運動的人（低鹽低脂飲食與否），分別做一個模型來預測，再去看對於一個即不運動，也不健康的患者，上述模型能夠告訴患者指導過改變那一種生活習慣，能夠更好的提高自己的長期存活率，從而助力精準醫學。