Classifification of Hyperspectral and LiDAR Data Using Coupled CNNs
來源：IEEE TGRS 2020
Abstract
本篇論文的主要工作就是基於資訊融合的分類任務。
在這篇論文中，作者通過使用兩個耦合的CNN，提出一種融合高光譜和LiDAR資料的框架。設計一個CNN從高光譜資料中瞭解光譜空間特徵，另一個則用於捕獲來自LiDAR資料。它們都由三個卷積層組成，最後兩個卷積層通過引數共享策略。在融合階段，特徵級融合和決策級融合方法同時用於整合這些充足的異質特徵。對於特徵級融合，評估了三種不同的融合策略，包括串聯策略，最大化策略和求和策略。對於決策級融合，加權採用求和策略，確定權重通過每個輸出的分類精度。
提出的模型根據在美國休斯頓獲得的城市資料集進行評估，還有在義大利Trento農村地區捕獲的資料。在休斯頓資料中，作者的模型可以達到新記錄，整體精度為96.03％。在Trento資料上，其總體精度為99.12％。這些結果充分證明了作者提出的模型的有效性。
INTRODUCTION
文中模型的資料來源是兩幅異質影像——高光譜影像（HSI）和鐳射雷達（LiDAR）影像。
HSI影像相比MSI具有更豐富的光譜資訊，但是對於同一材質的物體區分性較弱，他們具有相似的光譜回應。不同於HSI，LiDAR可以記錄物體的海拔資訊，能夠為HSI提供補充，二者優勢互補。
例如：區域中的樓房和道路由同樣的混凝土結構組成，HSI影像很難區分二者之間的差別，但是LiDAR影像則可以準確區分出樓房和道路，因為他們有不同的高度。相反，LiDAR無法區分兩條用不同材料（瀝青和混凝土）組成的道路，而可以用HSI。因此，融合高光譜和LiDAR資料是一種很有前途的方案，其效能已經得到了驗證。
METHODOLOGY
作者提出的模型主要包括兩個網路：用於光譜空間特徵學習的HSI網路和用於海拔特徵學習的LiDAR網路。
它們每個都包含一個輸入模組，一個特徵學習模組和融合模組，如上圖所示。在特徵學習模組中，輸入的HSI影像和LiDAR影像分別通過一個三層的網路結構進行特徵提取，三層網路結構中的後兩個卷積層權值共享。權值共享能夠減少網路引數，而且有利於兩個分支統一優化。特徵提取後則進入資訊的融合模組，在融合模組中，構造了三個分類器，每個CNN都有一個輸出層，它們的融合特徵也具有輸出層。
如圖2所示，兩組影像特徵首先通過特徵級融合 \(F\) 獲得特徵級融合特徵\(F3=F1+F2\) 或者 \(F3=max(F1,F2)\)，特徵級融合可以採用逐元素相加或者Max函式。然後對上述 \(F1,F2,F3\) 分別以下操作：
然後文中使用決策級融合 \(D\) 獲得最終的融合特徵：\(O=F1\odot y1+F2\odot y2+F3\odot y3\)，\(\odot\) 為加權操作。
然後 \(L1\) 表示HSI影像（\(y1\)）的交叉熵損失，\(L2\)表示LiDAR影像（\(y2\)）的交叉熵損失。\(L3\)表示融合資訊（\(O\)）的交叉熵損失。所以最終的損失函式為：
EXPERIMENTS
CONCLUSIONS
在將來需要探索更強大的鄰近提取方法，因為當前的分類圖仍然存在過度平滑的問題。