Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising
發表於 IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 26, NO. 7, JULY 2017
Paper 和 Code
Abstract：提出前饋去噪卷積神經網路(DnCNNs)，將超深層次結構、學習演算法和正則化方法的進展納入影像去噪。具體來說，利用殘差學習和批次歸一化來加速訓練過程以及提高去噪效能。與現有的判別去噪模型不同，該模型通常在一定的噪聲水平下訓練特定的加性高斯白噪聲模型，DnCNN模型能夠處理未知噪聲水平下的高斯去噪(即盲高斯去噪)。利用殘差學習策略，DnCNN隱式去除隱藏層中潛在的乾淨影像。這一特性促使訓練單個DnCNN模型來處理一些一般的影像去噪任務，例如高斯去噪、單影像超解析度和JPEG影像去塊。實驗表明，DnCNN模型不僅能在多種影像去噪任務中表現出較高的效率，而且還能透過GPU計算得到有效實現。
影像去噪的目標是根據影像退化模型y = x+v從噪聲觀測值y中恢復乾淨的影像x。一個常見的假設是v是加性高斯白噪聲(AWGN)。
大多數去噪方法通常有兩個主要缺點。首先，這些方法通常在測試階段涉及複雜的最佳化問題，使得去噪過程耗時[7]，[16]。因此，大多數方法在不犧牲計算效率的情況下很難獲得高效能。第二，模型通常是非凸的，並且涉及幾個手動選擇的引數，為提高去噪效能提供了一些餘地。
使用CNN的原因有三。首先，具有非常深的體系結構的CNN[26]在增加利用影像特徵的容量和靈活性方面是有效的。其次，在訓練CNN的正則化和學習方法方面取得了相當大的進展，包括整流器線性單元(ReLU) [27]、批次歸一化[28]和殘差學習[29]。這些方法可以在CNN中採用，加快訓練過程，提高去噪效能。第三，CNN非常適合在現代強大的GPU上進行平行計算，可以利用GPU來提高執行時效能。
Contributions： 1)提出了一種端到端可訓練的深度神經網路用於高斯去噪。與現有的直接估計潛在乾淨影像的基於深度神經網路的方法相比，該網路採用殘差學習策略從噪聲觀測中去除潛在乾淨影像。
2)殘差學習和批次歸一化可以極大地有利於神經網路的學習，因為它們不僅可以加快訓練速度，而且可以提高去噪效能。對於具有一定噪聲水平的高斯去噪，DnCNN在定量度量和視覺質量方面都優於最先進的方法。
3)DnCNN可以很容易地擴充套件到處理一般的影像去噪任務。可以為盲高斯去噪訓練單個DnCNN模型，並且獲得比針對特定噪聲水平訓練的競爭方法更好的效能。此外，僅用單個DnCNN模型就能解決三種常見的影像去噪任務，即盲高斯去噪、SISR去噪和JPEG去塊去噪。
DnCNN的輸入是噪聲觀測值y = x+v，目的學習一個對映函式F(y) = x來預測潛在的乾淨影像。DnCNN採用殘差學習公式訓練一個殘差對映R(y) ≈ v，然後得到x = y - R(y)。在形式上，期望殘差影像和從噪聲輸入估計的殘差影像之間的平均均方誤差
可以在DnCNN中作為學習可訓練引數的損失函式。
1)深度架構:給定深度為D的DnCNN，有三種型別的層，如圖1所示，有三種不同的顏色。
(i) Conv+ReLU:對於第一層，使用大小為3 × 3 × c的64個濾波器來生成64個特徵圖，然後利用校正的線性單位(ReLU，max(0)，)來處理非線性。
(ii) Conv+BN+ReLU:對於層2 ~ (D - 1)，使用64個大小為3×3×64的濾波器，並且在卷積和ReLU之間新增批次歸一化[28]。
(iii) Conv:最後一層使用大小為3 × 3× 64的c濾波器來重建輸出。
2)減少邊界偽影:在許多低層視覺應用中，通常要求輸出影像的大小與輸入影像的大小保持一致。這可能會導致邊界偽影。在MLP [31]中，噪聲輸入影像的邊界在預處理階段被對稱填充，而在CSF [17]和TNRD [19]中的每個階段之前執行相同的填充策略。本文與上述方法不同，在卷積之前直接填充零，以確保中間層的每個特徵圖與輸入影像具有相同的大小。此外，發現簡單的零填充策略不會導致任何邊界偽影。這一良好的特性可能歸功於DnCNN的強大能力。