影像融合將多個源影像(可能來自不同的感測器、不同視角、不同時間點)的資訊整合到單一的輸出融合影像中,這一過程旨在透過有效合併各源影像中的互補、冗餘或獨特資訊,生成一個既包含所有關鍵資訊又具有增強特性的融合影像。根據不同的融合任務需要制定不同的準則,然後對每張影像計算一個權重圖。根據原始影像和融合權重影像就可以根據融合演算法計算融合結果。影像融合演算法要保證結果自然過渡,清晰度不出現丟失。其餘如色彩自然度、細節保留、邊緣過渡、偽影抑制等方面也要盡善盡美。
假如需要融合的影像有兩幅影像,例如同一場景的紅外影像和可見光影像,通常紅外影像反映場景的溫度輻射資訊,而可見光影像反映場景的細節紋理資訊,因此如果需要一幅融合的影像既要顯示整個場景的溫度資訊,同時要兼顧場景的細節,則需要將兩者進行融合。通常,兩者影像的簡單權重相加就可以得到不錯的融合效果,因為就像日本料理的基本原則一樣,對食材簡單烹飪,甚至是生吃,才能保留食材最原始的鮮美的味道。
下面的公式即為按照權重相加的融合方式,對於參與融合的兩幅影像,對應畫素灰度值按照權重比例進行相加,其中引數alpha控制兩者之間的比例,最終輸出融合結果: