前言

  過去幾個月找工作，有段時間沒有推進感測器融合方面的研究了，最近工作基本已經定下來了，可以繼續研究推進下研究。

論文研究四：一種可靠性高的具有魯棒性的多目標多感測器D-S融合演算法

• 摘要：
    本文研究了毫米波雷達和CCD攝像機兩種感測器資訊的D-S融合方法，論述了毫米波雷達資訊採集、濾波、計算障礙物的距離和方位及判斷障礙物是否在無人地面平臺ROI(Region of interested)內；CCD攝像機的資訊處理、分割和障礙物的寬度、高度和方位角的計算。通過建立座標系和座標系間的齊次變換實現其空間配準。按D-S融合方法首先建立障礙物鑑別框架，通過實驗確定它們對應於鑑別框架中障礙物指數的基本概率分配值，再根據D-S證據方法的組合規則計算所有證據聯合作用下的融合結果，得到障礙物在無人地面平臺ROI內的距離、方位和大小。在無人地面平臺ROI內進行驗證，本文的研究成果可行，並且具有較好的魯棒性。
    毫米波雷達和影像感測器主要應用於汽車的自動駕駛和安全駕駛領域，毫米波雷達存在方位解析度低，不能精確定位障礙物的問題，本文是根據該缺點做改進，提出了融合感知。

• D-S融合演算法流程：
  1、 建立識別框架，對每個感測器計算基本概率分配函式；
  2、 根據D-S證據方法的組合規則計算基本概率分配函式；
  3、 根據給定的判決準則選擇置信度最大的假設。

• 論文實驗圖示分析 ：
  1、 設計的鑑別框架包括了其中障礙目標指數的閾值設計；
  2、 實際測量資料和融合結果資料圖表，能夠在誤差範圍內測量距離，高度，寬度，方位角資訊。

結論：
   本文基於毫米波雷達和CCD攝像機基礎上，對它們的資訊進行了D-S融合，其融合效果能正確識別障礙物及障礙物的距離、方位、寬度和高度，後續研究重點是光照和陰影影響。

論文研究五：A Deep Learning-based Radar and Camera Sensor Fusion Architecture for Object Detection（一種用於目標檢測的基於深度學習的雷達和攝像機感測器融合架構）

論文連結：https://ieeexplore.ieee.org/abstract/document/8916629/
研究的工程程式碼連結：https://github.com/TUMFTM/CameraRadarFusionNet

• 摘要：
    在攝像機影像中的目標檢測，使用深度學習已經被證明在近年來成功。不斷提高的檢測率和高效的計算網路結構正在推動這一技術在生產車輛上的應用。然而，相機的感測器質量是有限的，在惡劣的天氣條件下，並通過增加感測器噪音在稀疏的照明地區和在晚上。在暴雨或大霧等不利條件下，能見度會降低，安全駕駛可能得不到保證。此外，在光線稀疏的情況下，相機感測器受到噪聲的影響越來越大。與相機感測器相比，雷達感測器對光線變化、雨和霧等環境條件的適應性更強。該方法在網路層融合了攝像機資料和投影稀疏雷達資料，增強了現有的二維目標檢測網路。所提出的相機雷達融合網(CRF-Net)自動學習在哪個級別的感測器資料融合最有利於檢測結果。此外，還介紹了BlackIn，這是一種受Dropout啟發的訓練策略，它將學習的重點放在特定型別的感測器上。實驗表明，對於兩種不同的資料集，融合網路的效能優於目前最先進的僅使用影像的網路。
    為了提高目標檢測的精度，本文研究了用神經網路融合雷達和攝像機感測器資料的方法。
• 資料集：nuScenes 和 TUM
• 雷達資料預處理：
  思路：將雷達的二維點雲資料投影至影像垂直平面，雷達資料包括方位角，距離和RCS，不包括高度資訊。
  1、 神經網路的影像輸入由RGB三維通道，增加一維雷達通道；
  2、 由於檢測的物件包括汽車、卡車、摩托車、自行車和行人，因此假設雷達目標高度均為3m；
  3、 通過多週期的雷達資料同時對映到影像平面上，補償了車輛自身的運動，雖然增加部分噪聲誤差，但該誤差在可接受範圍內。

圖片來源於該論文

• 融合網路處理：
  思路：該網路基於RetinaNet的框架，擴充套件了雷達通道影像的處理結構。網路輸入為增加了雷達通道的四維影像，輸出為目標檢測盒的二維迴歸座標和檢測盒的分類分數。
  1、 以VGG16的卷積塊作為主要處理單元，通過max-pooling以相應比例處理輸入；
  2、 在每層均進行融合處理，深層網路增加FPN（特徵金字塔）產生分類和迴歸結果。
  3、 採用邏輯迴歸的方式，定位最優融合層。
  

圖片來源於該論文

結論：
   本文提出了CameraRadarFusion-Net (CRF-Net)架構來融合道路車輛的攝像機和雷達感測器資料。針對雷達和攝像機資料的融合，提出了BlackIn訓練策略。實驗結果表明，在神經網路中融合雷達和攝像機資料可以提高最先進的目標檢測網路的檢測分數。這篇論文為許多領域的進一步研究提供了理由。由於文獻對雷達與相機資料的神經融合的研究是最近才開始的，尋找優化的網路架構還需要進一步的探索。在未來的研究中，計劃設計網路層，在融合前對雷達資料進行處理，從而濾除雷達資料中的噪聲。與其他感測器形式(如鐳射雷達資料)的融合可以進一步提高檢測精度，同時通過增加層數或需要引入新的設計概念而增加複雜性們。在惡劣天氣條件下駕駛的多模態神經融合具有更大的潛力，但需要建立建模這些條件的其他資料集來研究這一假設。最後，由於雷達感測器將距離資訊引入到檢測方案中，融合概念在三維目標檢測中的適用性是我們想要探索的方向。在硬體方面，高解析度或成像雷達有望增加雷達資料的資訊密度，減少雜波。硬體方面的進步有望提高我們方法的檢測結果。
下圖為檢測結果圖：
AF：標籤資料
GRF：真實雷達資料；
NRM：無雷達後設資料；