影像融合演算法及多視角（多源）資訊融合總結

-------本文僅為學習筆記，不做任何商業用途-------

前言

    在計算機視覺領域下，涉及到對於諸如huamn action recognition等任務時，往往會需要多視角融合來進行分類任務，這就涉及到影像融合以及多源資訊融合的相關演算法。本文基於上述動機，在蒐集和學習瞭解了相關知識後，對影像融合和多視角（多源）資訊融合進行簡單總結。

一、影像融合演算法

    影像融合（Image Fusion）是指將多源通道所採集到的關於同一目標的影像資料經過影像處理和計算機技術等，最大限度的提取各自通道中的有利資訊，最後綜合成高質量的影像。融合的結果可以更好的將多幅影像在時空上的相關性和資訊上的互補性進行整合，從而將更為重要的影像特徵表徵便於機器的後續處理。
    在一般情況下，影像融合由低到高分為四個層級：訊號級融合、資料級融合、特徵級融合以及決策級融合。

    訊號級融合主要是對原始影像資料（未經處理）的一個融合，在這種情況下，更多是對影像融合的一個大致估計，不能準確精細的對影像進行融合。
    資料級融合經常被稱之為畫素級融合，是指直接對感測器（如Kinect裝置）採集來的資料進行處理而獲得融合影像的過程。畫素級融合主要包含空間域演算法和變換域演算法，空間域演算法包含多種融合規則方法，如邏輯濾波法、灰度加權平均法、對比調製法等；變換域中包含金字塔分解融合法、小波變換法等。

    特徵級影像融合是從源影像中將感興趣的特徵資訊提取出來，然後對這些特徵資訊進行分析、處理與整合得到融合後的影像特徵。在多視角下的人體動作識別中，就是通過提取不同視角下動作的特徵資訊，通過多源資訊融合的方式進行視角融合，從而更好的進行分類判斷。
    決策級影像融合是具有針對性的，它將根據任務的具體要求，從而將來自特徵級影像所得到的特徵資訊加以利用，然後根據相關規則進行決策。對於它的抽象理解，可以將其看作圖片分類中的SVM來判斷影像類別。

二、多視角（多源）資訊融合

    在計算機視覺領域，對於action recognition往往會遇到多視角或多模態的資訊融合問題，從本質上來講，這類問題其實都可以看做多感測器資料的資訊融合。在查閱相關資料並學習之後，總結如下。

2.1 多感測器資料融合方法

    利用多個感測器收集到的資訊進行融合的演算法可概括分為四類，基礎估計演算法、隨機演算法、基於人工智慧的演算法（CNN、RNN等）以及識別演算法。

2.2 多視角資訊融合

    對於多個視角的資訊融合，查閱資料主要分為協同訓練、多核學習以及子空間學習等。
    協同訓練，即通過交替訓練的方式使未標記的兩個不同檢視的相互一致性最大化；多核學習是通過利用與不同檢視自然對應的核心進行線性或非線性的組合以提高學習效能；子空間學習是通過假設輸入視角是從多個視角共享的子空間產生的。當然，除了上述的三類多視角融合演算法外，還有包括整合學習、遷移學習、CNN、RNN等常用方法。
    在最近閱讀的幾篇關於多視角跨域的文獻中，對於多視角融合的方式就採用了遷移學習的方式，將源域視角資訊得到的模型用於目標域的不同視角，來學習分類標準；還有通過LSTM進行融合判斷以及CNN來進行學習的；同時還有通過提取多視角不變特徵進行整合學習的演算法。

Reference

[1]https://baike.baidu.com/item/%E5%9B%BE%E5%83%8F%E8%9E%8D%E5%90%88/625475?fr=aladdin
[2]https://blog.csdn.net/lihe4151021/article/details/107483507?utm_medium=distribute.pc_aggpage_search_result.none-task-blog-2_allfirst_rank_v2~rank_v28-5-107483507.nonecase&utm_term=多視角影像融合&spm=1000.2123.3001.4430
[3]https://blog.csdn.net/colourful_sky/article/details/76560316
[4]https://blog.csdn.net/weixin_33894992/article/details/94455563?utm_medium=distribute.pc_relevant.none-task-blog-utm_term-6&spm=1001.2101.3001.4242
[5]https://blog.csdn.net/weibo1230123/article/details/84187923
[6]https://blog.csdn.net/moxibingdao/article/details/106667333
[7]https://blog.csdn.net/danliwoo/article/details/79278574