- A³CLNN: Spatial, Spectral and Multiscale Attention ConvLSTM Neural Network for Multisource Remote Sensing Data Classification
有效利用資訊多個資料來源的問題已成為遙感領域一個相關但具有挑戰性的研究課題。在本文中，我們提出了一種新的方法來利用兩個資料來源的互補性：高光譜影像（HSI）和光檢測與測距（LiDAR）資料。具體來說，我們開發了一種新的雙通道空間，頻譜和多尺度注意力卷積長短期記憶神經網路（稱為雙通道A3CLNN），用於特徵提取和多源遙感資料分類。首先針對HSI和LiDAR資料設計空間，光譜和多尺度注意機制，以便學習光譜和空間增強的特徵表示並代表不同類別的多尺度資訊。在設計的融合網路中，使用了一種新穎的複合注意力學習機制（結合了三級融合策略）來完全整合這兩個資料來源中的功能。最後，受轉學的想法啟發，設計了一種新穎的逐步訓練策略以產生最終的分類結果。我們在多個多源遙感資料集上進行的實驗結果表明，新提出的雙通道A3CLNN具有比其他最新方法更好的特徵表示能力（導致更具競爭力的分類效能）。
- Deep Encoder-Decoder Networks for Classification of Hyperspectral and LiDAR Data
深度學習（DL）由於其強大的資料表示能力而受到了越來越多的關注（RS）。特別是，已證明深度模型對於基於單個給定模態的RS資料分類有效。然而，由於缺乏特徵多樣性，在單一模式下，識別材料的能力仍然受到限制。為克服此限制，我們通過遵循深層編碼器-解碼器網路體系結構（簡稱EndNet）來提供一種簡單而有效的多峰DL基線，以對高光譜和光檢測與測距（LiDAR）資料進行分類。 EndNet通過強制融合功能來依次重構多模式輸入，從而融合了多模式資訊。與一些常規且廣泛使用的融合策略（例如，早期融合，中間融合和後期融合）相比，這種重構策略能夠更好地跨模態啟用神經元。在兩個流行的高光譜和LiDAR資料集上進行的廣泛實驗證明，與高光譜LiDAR分類任務中的幾個最新基準相比，提議的EndNet具有優越性和有效性。這些程式碼將在https://github.com/danfenghong/IEEE_GRSL_EndNet上可用，從而為RS社群做出了貢獻。
- FusAtNet: Dual Attention based SpectroSpatial Multimodal Fusion Network for Hyperspectral and LiDAR Classification
隨著感測技術的最新進展，多模態資料將可輕鬆用於各種應用，尤其是在遙感（RS）中，在遙感中，許多資料型別如多光譜影像（MSI），高光譜影像（HSI），Li DAR等。可用。這些多源資料集的有效融合變得越來越重要，因為這些多模態特徵已經顯示出可以生成高度準確的土地覆蓋圖。但是，考慮到資料中涉及的冗餘以及多種模式之間的較大域差異，在RS上下文中進行融合是不平凡的。另外，針對不同模態的特徵提取模組之間很難相互影響，這進一步限制了它們的語義相關性。作為補救措施，本文提出了一種特徵融合和提取框架工作，即FusAtNet，用於HSI和LiDAR資料的集體土地覆蓋分類。所提出的框架有效地利用了HSI模態，通過突出顯示其自身光譜特徵的“自我注意”機制來生成注意圖。同樣，同時使用“交叉注意”方法來利用LiDAR派生的注意地圖，該地圖強調了HSI的空間特徵。然後，與原始資料一起進一步探索這些細心的光譜和空間表示，以獲得模態特定的特徵嵌入。如此獲得的面向模式的聯合光譜空間資訊隨後被用於執行土地覆蓋分類任務。對三個HSI LiDAR資料集的實驗評估表明，所提出的方法達到了最新的分類效能，其中包括在休斯頓大學（Data Fusion Contest-2013）上可用的最大的HSI-LiDAR資料集。多峰特徵融合的分類方法。
- Multiple Feature-Based Superpixel-Level Decision Fusion for Hyperspectral and LiDAR Data Classification
遙感感測器數量的迅速增加使開發多源特徵提取和融合技術成為可能，從而提高了表面材料的分類精度。據報導，光檢測和測距（LiDAR）資料可以為高光譜影像（HSI）提供補充資訊。本文提出了一種基於多特徵的超畫素級決策融合（MFSuDF）方法，用於HSI和LiDAR資料分類。具體而言，首先設計了超畫素制導核主成分分析（KPCA）並將其應用於HSI，以減小尺寸並壓縮噪聲影響。接下來，分別對KPCA降低的HSI和LiDAR資料採用2-D和3-D Gabor濾波器，以獲取判別式Gabor特徵，並且將幅度和相位資訊都考慮在內。三種不同的模組，包括基於原始資料的特徵多維資料集（串聯的KPCA減少的HSI和LiDAR資料），Gabor幅度特徵多維資料集和Gabor相位特徵多維資料集（從KPCA降低的HSI和因此可以實現LiDAR資料）。此後，引入隨機森林（RF）分類器和象限位元編碼（QBC）來分別完成對上述三個提取的特徵立方體的分類任務。或者，通過在組合的HSI和LiDAR資料上利用多通道簡單非迭代聚類（SNIC）和熵率超畫素分割（ERS）演算法生成兩個超畫素圖，然後將其用於對三個分類圖進行正則化。最後，結合了基於加權多數投票的決策融合策略，以有效地增強多源資料的聯合使用。因此，建議的方法稱為MFSuDF。在三個真實的資料集上進行了一系列實驗，以證明所提出的MFSuDF方法的有效性。實驗結果表明，當每個樣本只有三個樣本時，我們的MFSuDF可以分別對休斯敦，特倫託和密蘇里大學和佛羅里達大學（MUUFL）Gulport資料集分別達到73.64％，93.88％和74.11％的整體精度。
- Joint Classification of Hyperspectral and LiDAR Data Using Hierarchical Random Walk and Deep CNN Architecture
使用多感測器資料進行地球觀測越來越引起人們的注意。融合遙感高光譜影像和光檢測和測距（LiDAR）資料有助於提高應用程式效能。在本文中，使用有效的分層隨機遊走網路（HRWN）研究了高光譜影像和LiDAR資料的聯合分類。在提出的HRWN中，首先開發了雙通道卷積神經網路（CNN）架構來捕獲光譜和空間特徵。提出了一個畫素方向的親和度分支，以從LiDAR資料中捕獲具有不同海拔資訊的類之間的關係，並確認分類的空間對比度。然後在設計的分層隨機遊走層中，雙通道CNN的預測分佈充當全域性先驗，而逐畫素親和力反映了畫素對的區域性相似性，這在網路的更深層中實現了空間一致性。最後，通過計算概率分佈獲得分類圖。通過三個真實的多感測器遙感資料驗證的實驗結果表明，所提出的HRWN明顯優於其他最新技術。例如，兩個分支的CNN分類器在休斯頓大學校園資料集上的準確性達到88.91％，而擬議的HRWN分類器獲得93.61％的準確性，從而提高了約5％。
- Fusion of Multispectral LiDAR, Hyperspectral, and RGB Data for Urban Land Cover Classification
隨著監視城市區域的重要性越來越高，出現了一個問題，即最適合解決相應挑戰的感測器。 這封信提出了在隨機森林（RF）框架內進行新穎的節點測試的方法，使它們可以單獨或組合地將其應用於光學RGB影像，高光譜影像以及光檢測和測距（LiDAR）資料。 這不僅允許在不進行預處理或特徵提取的情況下得出許多相關城市類別的準確分類結果，而且還可以洞悉哪種感測器可以提供最有意義的資料來解決給定的分類任務。 儘管僅基於一小部分訓練樣本，但在公開基準資料集上獲得的結果要優於通過深度學習方法獲得的結果。
- Classification of Hyperspectral and LiDAR Data Using Coupled CNNs
論文學習筆記 - Classifification of Hyperspectral and LiDAR Data Using Coupled CNNs
- Hyperspectral and LiDAR Classification With Semisupervised Graph Fusion
為了融合高光譜和光檢測與測距（LiDAR），我們提出了一種半監督圖融合（SSGF）方法。 我們將形態濾波器應用於LiDAR和高光譜資料的前幾個分量，分別對高度和空間資訊進行建模。 然後，將擬議的SSGF用於將光譜，高程和空間特徵投影到較低的子空間上以獲得新特徵。 特別地，SSGF的目的是通過使用標記和未標記的樣本來最大化類分離能力並保留區域性鄰居引擎蓋結構。 來自2013年IEEE地球科學與遙感學會（GRSS）資料融合競賽的高光譜和LiDAR資料的實驗結果證明了SSGF的優越性。
- Feature Extraction for Classification of Hyperspectral and LiDAR Data Using Patch-to-Patch CNN
多感測器融合在與地球觀測有關的應用中非常重要。例如，高光譜影像（HSI）提供了豐富的光譜資訊，而光檢測和測距（LiDAR）資料提供了高程資訊，並且將HSI和LiDAR資料一起使用可以實現更好的分類效能。本文提出了一種無監督的特徵提取框架，稱為斑對斑卷積神經網路（PToP CNN），用於高光譜和LiDAR資料的協同分類。更具體地說，首先開發了三塔式PToP對映，以尋求從HSI到LiDAR資料的準確率表示，旨在合併兩個不同來源之間的多尺度特徵。然後，通過對設計的PToP CNN的隱藏層進行光柵化，可以將提取的特徵具有深融合的特徵。因此，來自不同隱藏層的特徵將被串聯成一個堆疊向量，並被饋送到三個完全連線的層中。為了驗證所提出分類框架的有效性，對兩個基準遙感資料集進行了實驗。實驗結果表明，與某些最新的分類器（例如，兩分支CNN和上下文CNN）相比，該方法可提供更好的效能。