超解析度分析（一）--傳統方案綜述

轉自：https://www.cnblogs.com/wxl845235800/p/9292972.html

影象超解析度率(super resolution,SR)是指由一幅低解析度影象(low resolution,LR)或影象序列恢復出高解析度影象(high resolution,HR)。HR意味著影象具有高畫素密度，可以提供更多的細節，這些細節往往在應用中起到關鍵作用。要獲得高解析度影象，最直接的辦法是採用高解析度影象感測器，但由於感測器和光學器件製造工藝和成本的限制，在很多場合和大規模部署中很難實現。因此，利用現有的裝置，通過超解析度技術獲取HR影象具有重要的現實意義。

影象解析度的概念
影象解析度泛指成像或顯示系統對細節的分辨能力，代表影象中儲存的資訊量。 
指影象中儲存的資訊量，是每英寸影象內有多少個畫素點，解析度的單位為PPI(Pixels Per Inch)，通常叫做：畫素每英寸。 
圖片的大小由畫素的多少決定，解析度是單位密度，同量畫素圖片的解析度越高，面積越小。 
一般情況下，影象解析度越高，影象中包含的細節越多，資訊量也越大。影象解析度分為空間解析度和時間解析度。通常，解析度被表示成每一個方向上的畫素數量，例如64*64的二維影象。但是，解析度的高低並不等同於畫素數量的多少，例如一個通過插值放大了5倍的影象並不表示它包含的細節增加了多少。影象超解析度重建關注的是恢復影象中丟失的細節，即高頻資訊。

超分辨問題的分類
超解析度影象重建 (Super resolution image reconstruction, SRIR 或 SR) 是指用訊號處理和影象處理的方法,通過軟體演算法的方式將已有的低解析度 (Low-resolution, LR) 影象轉換成高解析度(High-resolution, HR)影象的技術 

概括而言,按演算法的輸入輸出的不同型別組合,超解析度問題可以分為幾類子問題,見圖1.輸入為低解析度影象序列(視訊),輸出為單幀高解析度影象的超解析度問題,稱為基於重建的超解析度問題(Reconstruction-based super-resolution);輸入與輸出均為影象序列(視訊)的超解析度問題,稱為視訊超解析度問題(Video super-resolution);輸入與輸出均為單幀影象的超解析度問題,稱為單幀影象超解析度問題(Single image super resolution,SISR).根據是否依賴訓練樣本,超解析度問題又可以分為增強邊緣的超解析度問題(Edge-focused super-resolution) (無訓練樣本)與基於學習的超解析度問題(Learning-based superresolution) (有訓練樣本)兩種.對於輸入為單幀低解析度影象,輸出為影象序列 (視訊)的問題,由於其缺失的資訊太多,研究的實際意義不大,幾乎沒有相關的研究。

單幅影象的超分辨
基於學習的單幀超解析度問題是近年來研究的一個熱點,又稱為影象幻感 (Image hallucination)或基於樣例(Example-based) 的超解析度, 它通過機器學習方法從訓練樣本集中提取所需的高頻資訊模型,從而對未知測試樣本的所需資訊進行預測,達到提高影象解析度的目的, 參見圖 5. 大部分的基於學習的超解析度方法都是基於分塊(Patch-based)的,目標影象平面被分成小的影象塊, 通過計算求取低解析度影象塊所對應的高解析度影象塊. 
  

基於學習的超解析度演算法相關的核心問題主要有兩個部分: 演算法模型的建立和訓練集合的選取. 
歷史上採用的超分辨的演算法：最近鄰搜尋-馬爾科夫隨機場 (MRF)-鄰域嵌入 

（一）國外研究現狀

　　超解析度概念最早出現在光學領域。在該領域中，超解析度是指試圖復原衍射極限以外資料的過程。Toraldo di Francia在1955年的雷達文獻中關於光學成像第一次提出了超解析度的概念。復原的概念最早是由J.L.Harris和J.w.Goodman分別於1964年和1965年提出一種稱為Harris-Goodman頻譜外推的方法。這些演算法在某些假設條件下得到較好的模擬結果，但實際應用中效果並不理想。Tsai&Huang首先提出了基於序列或多幀影象的超解析度重建問題。1982，D.C.C.Youla和H.Webb在總結前人的基礎上，提出了凸集投影影象復原(Pocs)方法。1986年，S.E.Meinel提出了服從泊松分佈的最大似然復原(泊松-ML)方法。1991年和1992年，B.R.Hunt和PJ.Sementilli在Bayes分析的基礎上，提出了泊松最大後驗概率復原(泊松-MAP)方法，並於1993年對超解析度的定義和特性進行了分析，提出了影象超解析度的能力取決於物體的空間限制、噪聲和取樣間隔。

　　近年來，影象超解析度研究比較活躍，美國加州大學Milanfar等人提出的大量實用超解析度影象復原演算法， Chan等人從總變差正則方面，Zhao等人、Nagy等人從數學方法、多幀影象的去卷積和彩色影象的超解析度增強方面，對超解析度影象恢復進行了研究。Chan等人研究了超解析度影象恢復的預處理迭代演算法。此外，Elad等人對包含任意影象運動的超解析度恢復進行了研究；Rajan和Wood等人分別從物理學和成像透鏡散射的角度提出了新的超解析度影象恢復方法；韓國Pohang理工大學對各向異性擴散用於超解析度。Chung-Ang影象科學和多媒體與電影學院在基於融合的自適應正則超解析度方面分別進行了研究。Yang等人提出了使用圖形塊的稀疏表示來實現超解析度。他們從一些高解析度影象中隨機選取一些塊組成一個過完備的詞典，接著對於每一個測試塊，通過線性規劃的方法求得該測試塊在這個過完備的詞典下的稀疏表示，最後以這組係數加權重構出高解析度的影象，這種方法克服了鄰域嵌入方法中對於鄰域大小的選擇問題，即在求解稀疏表示的時候，無需指定重構所需要基的個數，其表示係數和基的個數將同時通過線性規劃求解得到。然而，目前該方法的缺陷就在於過完備詞典的選擇，隨機的選擇只能實現特定領域的影象的超解析度，對於通用影象的超解析度效果較差。

（二）國內研究現狀

　　國內許多科研院所和大學等對超解析度影象恢復進行研究，其中部分是關於頻譜外推、混疊效應的消除，其他主要是對國外超解析度方法所進行的改進，包括對POCS演算法和MAP演算法的改進，對超解析度插值方法的改進，基於小波域隱馬爾可夫樹(HMT)模型對彩色影象超解析度方法的改進以及對超解析度影象重構方法的改進。

　　2016年香港中文大學Dong等人將卷積神經網路應用於單張影象超解析度重建上完成了深度學習在影象超解析度重建問題的開山之作SRCNN(Super-Resolution Convolutional Neural Network)。SRCNN將深度學習與傳統稀疏編碼之間的關係作為依據，將3層網路劃分為影象塊提取(Patch extraction and representation)、非線性對映(Non-linear mapping)以及最終的重建(Reconstruction)。重建效果遠遠優於其他傳統演算法，利用SRCNN進行超解析度影象重建與使用其他方法進行超解析度重建的效果對比圖如下圖1所示。

圖1 SRCNN影象重建與其他重建方式效果對比圖

Learning a Deep Convolutional Network for Image Super-Resolution http://mmlab.ie.cuhk.edu.hk/projects/SRCNN.html

論文：

Learning a Deep Convolutional Network for Image Super-Resolution

Image Super-Resolution Using Deep Convolutional Networks