遷移學習幫大忙!成都理工大學搭建 SCDUNet++ 模型進行滑坡測繪

發表於2024-03-01

滑坡是最常見的自然災害之一,通常由地震和降雨引發,會造成嚴重的財產損失和人員傷亡。由地震觸發的山體滑坡所造成的破壞,有時會比地震本身造成的破壞更為嚴重。大型地震發生之後,快速、準確地開展滑坡測繪工作 (landslide mapping, LM) 對於緊急救援、及時定量災害評估和災後重建至關重要。

近年來,人們對遙感影像自動繪製滑坡地圖的方法進行了大量研究,但由於山體滑坡在特徵和規模上存在較大差異,加之光學遙感影像存在相似性,導致現有方法在準確進行滑坡測繪工作時面臨著各種各樣的挑戰。

圖片
滑坡是最常見的自然災害之一,通常由地震和降雨引發,會造成嚴重的財產損失和人員傷亡。由地震觸發的山體滑坡所造成的破壞,有時會比地震本身造成的破壞更為嚴重。大型地震發生之後,快速、準確地開展滑坡測繪工作 (landslide mapping, LM) 對於緊急救援、及時定量災害評估和災後重建至關重要。

近年來,人們對遙感影像自動繪製滑坡地圖的方法進行了大量研究,但由於山體滑坡在特徵和規模上存在較大差異,加之光學遙感影像存在相似性,導致現有方法在準確進行滑坡測繪工作時面臨著各種各樣的挑戰。

圖片
遙感滑坡影像

為此,成都理工大學的研究人員提出了一個名為 SCDUNet++ 的語義分割模型 ,該模型結合了卷積神經網路 (CNN) 和 Transformer 的優勢,增強了對滑坡特徵的識別和提取,效能優於 FCN, DeepLabv3+, Segformer 等其他 8 個深度學習模型,在 IoU 方面提高了 1.91% 至 24.42%,在 F1 方面提高了 1.26% 至 18.54%。 該成果已發表於 International Journal of Applied Earth Observation and Geoinformation。

注:IoU 為交併比,衡量預測區域和真實區域之間的重疊程度;F1 為精確度和召回率的調和平均值,衡量模型的準確性和完整性。

研究亮點

  • 利用多通道資料的語義分割模型繪製滑坡圖
  • 利用地形和光譜指數因子改善滑坡繪圖
  • 經過深度遷移學習後,模型在資料匱乏地區的效能大大提高
  • 所提出的模型在繪圖和遷移性等方面優於其他模型

圖片

論文地址:**

https://doi.org/10.1016/j.jag.2023.103612
資料集一鍵下載:

https://hyper.ai/datasets/29647
關注公眾號,後臺回覆「滑坡」獲取完整 PDF

實驗過程:搭建 SCDUNet++ 模型

資料集:瀘定和九寨溝地震資料

2022 年的瀘定 6.8 級地震和 2017 年的九寨溝 7.0 級地震都造成了嚴重的滑坡災害,因此研究人員選擇這兩個地區進行實驗研究。

圖片
實驗地區概覽

資料集中包含三部分內容,整合後儲存為 HDF5 格式。

Sentinel-2(哨兵 2 號衛星) 多光譜資料: 2022/03/15 和 2022/11/25 的瀘定地區資料,2017/07/29 和 2017/09/07 的九寨溝資料。

NASADEM (Digital Elevation Model) 資料: 在 NASADEM 官網上下載資料,得到坡度、坡向、曲率、山蔭及地形溼度指數 (TWI) 等資料。

滑坡資料 (landslide inventory): 結合 Sentinel-2 光學遙感影像和谷歌地球影像,由專家進行人工標註。

模型架構:三大模組構成

下圖為構建的 SCDUNet++ 模型整體架構:

圖片
SCDUNet++ 整體架構

GLFE (Global Local Feature Extraction) 模組:如圖 b 所示,GLFE 模組結合淺層 CNN 結構和深層 Swin Transformer 結構,有效地處理了滑坡影像特徵的提取和分類問題。

DSSA (Detailed Spatial Spectral Aggregation) 模組:透過融合來自 GLFE 模組的光譜和空間特徵,加強對多光譜影像中複雜資訊的處理能力,該模組能夠執行更精確的光譜和空間特徵提取,增強了模型對多光譜影像分析的效率和準確性。

DSC (Dense Skip Connection) :如圖 d 所示,該模組能夠恢復每個階段特徵的解析度。

最後,對每個階段的特徵進行加權和融合,得到最終的結果。

演算法訓練:基於簡單模型的 DTL 方法

研究人員引入深度遷移學習 (deep transfer learning,DTL) 方法以提高 LM 和模型的遷移效能,演算法訓練旨在有效處理滑坡和背景在遙感影像中的不平衡分佈,同時確保模型在多個效能指標上的高效性。

圖片
基於網路的 DTL 方法

實驗結果:經過遷移學習,模型有效開展滑坡測繪工作

模型評估:GLFE 模組和 DSSA 模組結合的有效性

研究人員以滑坡地圖繪製常用的方法 UNet++ 作為基線,以瀘定地區 I、II 為實驗組,開展了消融實驗 (ablation experiment),對新增不同模組的模型進行比較,重點關注 IoU 和 F1 兩個整體性指標。

圖片
圖片

由下表可見:

  • GLFE 模組的有效性:與基線相比,IoU 和 F1 分別提高了 1.7% 和 1.16%。
  • DSSA 模組的有效性:與基線相比,IoU 和 F1 分別提高了 1.88% 和 1.28%。
  • SCDUNet++ 模型:與基線相比,IoU 和 F1 分別提高了 2.83% 和 1.92%。

圖片
模型比較結果

總結來看,研究人員將 GLFE 模組和 DSSA 模組新增到基線模型 UNet++ 中,形成了 SCDUNet++ 模型。SCDUNet++ 模型保留了小型滑坡影像以獲得更好的效能,模型精確度提高了 0.46% ,召回率提高了 4.06%。

圖片
複雜區域消融實驗的視覺化結果

a:基線
b:基線 + GLFE
c:基線 + DSSA
d:基線 + GLFE + DSSA

瀘定地區測試:SCDUNet++ 展現優越效能

在瀘定 I、II 測試地區,研究人員將 SCDUNet++ 模型與其餘 8 種模型的滑坡測繪工作進行比較,揭示了 SCDUNet++ 對特定地理特徵和環境複雜度的敏感性。

下圖結果顯示,測試區域 Ⅰ 中,SCDUNet++ 在精確度、召回率、MCC、IoU、MIoU 和 F1 分數上均表現出較高的效能。這表明該模型在相對複雜的地理環境中仍能保持較高的檢測準確性。 而背景較為簡單的測試區域 Ⅱ 實驗結果也證實了 SCDUNet++ 在不同環境下的適應性,尤其在召回率和 MIoU 上表現突出。

圖片
圖片
不同模型在地區 I、II 的比較結果

在視覺化結果中,SCDUNet++ 模型展現了優越的效能,具體表現為:

滑坡測繪完整性: SCDUNet++ 能夠生成相對完整的滑坡地圖,相比之下,FCN、Segformer、TransUNet 和 UNet 等模型遺漏了部分小型滑坡影像。

對 FP(假正例,即錯誤預測為正類的負類)的處理:由於裸土區域和滑坡特徵十分相似,所有模型都出現了不同程度的 FP,但 SCDUNet++ 能夠基於特定的特徵提取模組,在一定程度上抑制 FP 的產生。

邊界區域的處理:研究人員在滑坡和背景的邊界區域發現了大量的 FN(假負例,即錯誤預測為負類的正類)和 FP,但 SCDUNet++ 採用巢狀解碼器,能夠在各個層次恢復和融合特徵並進行深度監督,有效解決邊界不準確問題。

圖片
瀘定試驗區分割槽各模型滑坡測繪視覺化結果

A、 B、 C 和 D 中的白色矩形顯示了結果之間的主要差異
a:測試地區 I
b:測試地區 II

總的來說,SCDUNet++ 模型展現出了在瀘定地區進行滑坡測繪的強大潛力,尤其在處理複雜環境和精確邊界判定方面表現卓越。

九寨溝地區測試:遷移學習後的模型預測更準

直接使用在瀘定地區訓練的模型

指標對比:SCDUNet++ 在大多數指標上表現優於其他模型。但需要考慮九寨溝試驗區的特徵相對簡單,模型測試結果應該會優於瀘定地區,可是指標都不是非常理想。

視覺化結果:下圖展示了對映結果中 FP(藍色區域)很少,但遺漏了許多實際的滑坡。

圖片
九寨溝地區滑坡測繪

經過深度遷移學習最佳化的模型

指標提升:經過深度遷移學習後,所有指標在測試區域 Ⅲ 和 Ⅳ 中均顯示出顯著提升,特別是召回率和 F1 分數顯著增加,SCDUNet++ 模型依然在多個指標上表現最佳。

圖片
經過 DTL 最佳化後模型指標變化

視覺化結果:經過深度遷移學習後 FN(假負例,即錯誤預測為負類的正類)顯著減少,模型有效地識別並對映出大型滑坡,減少了漏檢的情況。同時模型 LM 結果包含了大多數小型滑坡,這表明經過深度遷移學習的 SCDUNet++ 模型對於細小和複雜的滑坡特徵有了更好的識別能力。

圖片
SCDUNet++ LM 結果變化

a: DTL 前的測試區 III
b: DTL 後的測試區 III
c: DTL 前的測試區 IV
d: DTL 後的測試區 IV

地質災害防治領域的國家重點實驗室

成都地處四川盆地西部,地層結構複雜,當地及周邊地區經常受到地震災害侵擾。可以說,成都一直奮戰在防災減災的一線,其中成都理工大學更是最早一批加入「戰鬥」的中堅力量。

1989 年,原國家計委、國家教委批准,在成都理工大學(原成都地質學院)地質工程國家重點學科基礎上建立國家專業實驗室,此為地質災害防治與地質環境保護國家重點實驗室的前身。 2001 年,該實驗室被四川省人民政府批准為「四川省重點實驗室」。2002 年成為科技部與四川省共建的「國家重點實驗室培育基地」,2003 年被批准為國土資源部重點實驗室,2007 年 10 月被科技部批准列入國家重點實驗室建設計劃,2010 年 12 月透過科技部驗收。

此外,該實驗室是我國地質災害防治領域目前唯一的國家重點實驗室,在 2017 年被國土資源部、科技部命名為「國家國土資源科普基地」,2020 年入選四川省第十二批省級科普基地。

圖片

成理地災國重實驗室

屹立千年的山體一旦發生滑坡,岩石、土壤便順著傾斜的山體,像流水一樣頃刻間掩埋一座幾公里外的村鎮。災難的背後是一個又一個謎團等待研究人員的探索,多年來,實驗室的研究人員們從現場調(勘)查、模擬評估、監測預警等工作中逐步積累出一整套地質災害防治和地質環境保護的理論與技術系統。

2023 年 11 月,研究人員在 PNAS 上發表論文,在地震、滑坡粘滑不穩定性研究領域取得重要進展;2023 年 9 月發表論文研究地震或滑坡的粘滑前兆特徵,為即將發生的地震或滑坡提供預測資訊;2023 年 1 月破解高速遠端滑坡超強流態化謎團……

自古至今,人類多次經受自然災害的「迫害」,地震、海嘯、暴雨、乾旱等等,致使無數家庭流離失所。儘管是在科技日新月異的今天,我們也難以與自然力量抗衡,更多的則是防範與預警。尤其是在 AI、大資料等技術的快遞迭代之下,過往災害所沉澱下的資料成為了寶貴的養料,幫助各類預測模型提升精度與準確性,從而更好地服務於當下社會。

我們總願意相信人定勝天,所以自然災害面前,人類也從未退縮,相信 AI 等技術也將成為人類抵禦自然災害、保護生命財產安全的堅實盾牌。

HyperAI官網已上傳自然災害、地質相關的資料集

xBD 自然災害影像資料集:

https://hyper.ai/datasets/13272

RSSCN7 Data Set 遙感影像資料集:

https://hyper.ai/datasets/5440

European Flood 2013 歐洲洪水資料集:

https://hyper.ai/datasets/21579

參考資料:
https://www.sklgp.cdut.edu.cn/遙感滑坡影像

為此,成都理工大學的研究人員提出了一個名為 SCDUNet++ 的語義分割模型 ,該模型結合了卷積神經網路 (CNN) 和 Transformer 的優勢,增強了對滑坡特徵的識別和提取,效能優於 FCN, DeepLabv3+, Segformer 等其他 8 個深度學習模型,在 IoU 方面提高了 1.91% 至 24.42%,在 F1 方面提高了 1.26% 至 18.54%。 該成果已發表於 International Journal of Applied Earth Observation and Geoinformation。

注:IoU 為交併比,衡量預測區域和真實區域之間的重疊程度;F1 為精確度和召回率的調和平均值,衡量模型的準確性和完整性。

研究亮點

  • 利用多通道資料的語義分割模型繪製滑坡圖
  • 利用地形和光譜指數因子改善滑坡繪圖
  • 經過深度遷移學習後,模型在資料匱乏地區的效能大大提高
  • 所提出的模型在繪圖和遷移性等方面優於其他模型

圖片

論文地址:

https://doi.org/10.1016/j.jag.2023.103612
資料集一鍵下載:

https://hyper.ai/datasets/29647
關注公眾號,後臺回覆「滑坡」獲取完整 PDF

實驗過程:搭建 SCDUNet++ 模型

資料集:瀘定和九寨溝地震資料

2022 年的瀘定 6.8 級地震和 2017 年的九寨溝 7.0 級地震都造成了嚴重的滑坡災害,因此研究人員選擇這兩個地區進行實驗研究。

圖片
實驗地區概覽

資料集中包含三部分內容,整合後儲存為 HDF5 格式。

Sentinel-2(哨兵 2 號衛星) 多光譜資料: 2022/03/15 和 2022/11/25 的瀘定地區資料,2017/07/29 和 2017/09/07 的九寨溝資料。

NASADEM (Digital Elevation Model) 資料: 在 NASADEM 官網上下載資料,得到坡度、坡向、曲率、山蔭及地形溼度指數 (TWI) 等資料。

滑坡資料 (landslide inventory): 結合 Sentinel-2 光學遙感影像和谷歌地球影像,由專家進行人工標註。

模型架構:三大模組構成

下圖為構建的 SCDUNet++ 模型整體架構:

圖片
SCDUNet++ 整體架構

GLFE (Global Local Feature Extraction) 模組:如圖 b 所示,GLFE 模組結合淺層 CNN 結構和深層 Swin Transformer 結構,有效地處理了滑坡影像特徵的提取和分類問題。

DSSA (Detailed Spatial Spectral Aggregation) 模組:透過融合來自 GLFE 模組的光譜和空間特徵,加強對多光譜影像中複雜資訊的處理能力,該模組能夠執行更精確的光譜和空間特徵提取,增強了模型對多光譜影像分析的效率和準確性。

DSC (Dense Skip Connection) :如圖 d 所示,該模組能夠恢復每個階段特徵的解析度。

最後,對每個階段的特徵進行加權和融合,得到最終的結果。

演算法訓練:基於簡單模型的 DTL 方法

研究人員引入深度遷移學習 (deep transfer learning,DTL) 方法以提高 LM 和模型的遷移效能,演算法訓練旨在有效處理滑坡和背景在遙感影像中的不平衡分佈,同時確保模型在多個效能指標上的高效性。

圖片
基於網路的 DTL 方法

實驗結果:經過遷移學習,模型有效開展滑坡測繪工作

模型評估:GLFE 模組和 DSSA 模組結合的有效性

研究人員以滑坡地圖繪製常用的方法 UNet++ 作為基線,以瀘定地區 I、II 為實驗組,開展了消融實驗 (ablation experiment),對新增不同模組的模型進行比較,重點關注 IoU 和 F1 兩個整體性指標。

圖片
圖片

由下表可見:

  • GLFE 模組的有效性:與基線相比,IoU 和 F1 分別提高了 1.7% 和 1.16%。
  • DSSA 模組的有效性:與基線相比,IoU 和 F1 分別提高了 1.88% 和 1.28%。
  • SCDUNet++ 模型:與基線相比,IoU 和 F1 分別提高了 2.83% 和 1.92%。

圖片
模型比較結果

總結來看,研究人員將 GLFE 模組和 DSSA 模組新增到基線模型 UNet++ 中,形成了 SCDUNet++ 模型。SCDUNet++ 模型保留了小型滑坡影像以獲得更好的效能,模型精確度提高了 0.46% ,召回率提高了 4.06%。

圖片
複雜區域消融實驗的視覺化結果

a:基線
b:基線 + GLFE
c:基線 + DSSA
d:基線 + GLFE + DSSA

瀘定地區測試:SCDUNet++ 展現優越效能

在瀘定 I、II 測試地區,研究人員將 SCDUNet++ 模型與其餘 8 種模型的滑坡測繪工作進行比較,揭示了 SCDUNet++ 對特定地理特徵和環境複雜度的敏感性。

下圖結果顯示,測試區域 Ⅰ 中,SCDUNet++ 在精確度、召回率、MCC、IoU、MIoU 和 F1 分數上均表現出較高的效能。這表明該模型在相對複雜的地理環境中仍能保持較高的檢測準確性。 而背景較為簡單的測試區域 Ⅱ 實驗結果也證實了 SCDUNet++ 在不同環境下的適應性,尤其在召回率和 MIoU 上表現突出。

圖片
圖片
不同模型在地區 I、II 的比較結果

在視覺化結果中,SCDUNet++ 模型展現了優越的效能,具體表現為:

滑坡測繪完整性: SCDUNet++ 能夠生成相對完整的滑坡地圖,相比之下,FCN、Segformer、TransUNet 和 UNet 等模型遺漏了部分小型滑坡影像。

對 FP(假正例,即錯誤預測為正類的負類)的處理:由於裸土區域和滑坡特徵十分相似,所有模型都出現了不同程度的 FP,但 SCDUNet++ 能夠基於特定的特徵提取模組,在一定程度上抑制 FP 的產生。

邊界區域的處理:研究人員在滑坡和背景的邊界區域發現了大量的 FN(假負例,即錯誤預測為負類的正類)和 FP,但 SCDUNet++ 採用巢狀解碼器,能夠在各個層次恢復和融合特徵並進行深度監督,有效解決邊界不準確問題。

圖片
瀘定試驗區分割槽各模型滑坡測繪視覺化結果

A、 B、 C 和 D 中的白色矩形顯示了結果之間的主要差異
a:測試地區 I
b:測試地區 II

總的來說,SCDUNet++ 模型展現出了在瀘定地區進行滑坡測繪的強大潛力,尤其在處理複雜環境和精確邊界判定方面表現卓越。

九寨溝地區測試:遷移學習後的模型預測更準

直接使用在瀘定地區訓練的模型

指標對比:SCDUNet++ 在大多數指標上表現優於其他模型。但需要考慮九寨溝試驗區的特徵相對簡單,模型測試結果應該會優於瀘定地區,可是指標都不是非常理想。

視覺化結果:下圖展示了對映結果中 FP(藍色區域)很少,但遺漏了許多實際的滑坡。

圖片
九寨溝地區滑坡測繪

經過深度遷移學習最佳化的模型

指標提升:經過深度遷移學習後,所有指標在測試區域 Ⅲ 和 Ⅳ 中均顯示出顯著提升,特別是召回率和 F1 分數顯著增加,SCDUNet++ 模型依然在多個指標上表現最佳。

圖片
經過 DTL 最佳化後模型指標變化

視覺化結果:經過深度遷移學習後 FN(假負例,即錯誤預測為負類的正類)顯著減少,模型有效地識別並對映出大型滑坡,減少了漏檢的情況。同時模型 LM 結果包含了大多數小型滑坡,這表明經過深度遷移學習的 SCDUNet++ 模型對於細小和複雜的滑坡特徵有了更好的識別能力。

圖片
SCDUNet++ LM 結果變化

a: DTL 前的測試區 III
b: DTL 後的測試區 III
c: DTL 前的測試區 IV
d: DTL 後的測試區 IV

地質災害防治領域的國家重點實驗室

成都地處四川盆地西部,地層結構複雜,當地及周邊地區經常受到地震災害侵擾。可以說,成都一直奮戰在防災減災的一線,其中成都理工大學更是最早一批加入「戰鬥」的中堅力量。

1989 年,原國家計委、國家教委批准,在成都理工大學(原成都地質學院)地質工程國家重點學科基礎上建立國家專業實驗室,此為地質災害防治與地質環境保護國家重點實驗室的前身。 2001 年,該實驗室被四川省人民政府批准為「四川省重點實驗室」。2002 年成為科技部與四川省共建的「國家重點實驗室培育基地」,2003 年被批准為國土資源部重點實驗室,2007 年 10 月被科技部批准列入國家重點實驗室建設計劃,2010 年 12 月透過科技部驗收。

此外,該實驗室是我國地質災害防治領域目前唯一的國家重點實驗室,在 2017 年被國土資源部、科技部命名為「國家國土資源科普基地」,2020 年入選四川省第十二批省級科普基地。

圖片

成理地災國重實驗室

屹立千年的山體一旦發生滑坡,岩石、土壤便順著傾斜的山體,像流水一樣頃刻間掩埋一座幾公里外的村鎮。災難的背後是一個又一個謎團等待研究人員的探索,多年來,實驗室的研究人員們從現場調(勘)查、模擬評估、監測預警等工作中逐步積累出一整套地質災害防治和地質環境保護的理論與技術系統。

2023 年 11 月,研究人員在 PNAS 上發表論文,在地震、滑坡粘滑不穩定性研究領域取得重要進展;2023 年 9 月發表論文研究地震或滑坡的粘滑前兆特徵,為即將發生的地震或滑坡提供預測資訊;2023 年 1 月破解高速遠端滑坡超強流態化謎團……

自古至今,人類多次經受自然災害的「迫害」,地震、海嘯、暴雨、乾旱等等,致使無數家庭流離失所。儘管是在科技日新月異的今天,我們也難以與自然力量抗衡,更多的則是防範與預警。尤其是在 AI、大資料等技術的快遞迭代之下,過往災害所沉澱下的資料成為了寶貴的養料,幫助各類預測模型提升精度與準確性,從而更好地服務於當下社會。

我們總願意相信人定勝天,所以自然災害面前,人類也從未退縮,相信 AI 等技術也將成為人類抵禦自然災害、保護生命財產安全的堅實盾牌。

HyperAI官網已上傳自然災害、地質相關的資料集

xBD 自然災害影像資料集:

https://hyper.ai/datasets/13272

RSSCN7 Data Set 遙感影像資料集:

https://hyper.ai/datasets/5440

European Flood 2013 歐洲洪水資料集:

https://hyper.ai/datasets/21579

參考資料:
https://www.sklgp.cdut.edu.cn/

相關文章