比無所不能的DIP更強大的影象恢復方法：DeepRED

Ulyanov[13,14] 等人最近的工作為逆問題與深度學習的融合做出了特殊貢獻。本文提出了深度影象先驗（DIP）方法，這是一種在逆問題中處理正則化任務的新策略。與大多數早期的方法不同，DIP 建議使用深度網路本身作為逆問題的正則化工具，而不是採用監督的方法。

更具體點來說，DIP 移除了顯式正則化，取而代之的是假設未知影象 x 是來自學習到的網路的生成圖。當 DIP 與損壞影象的網路引數相匹配時，就可以根據要處理的影象進行調整。研究人員對這項研究的極大興趣是源於一個絕妙的想法，即隱式地使用網路的架構來獲得恢復影象 x 的正則化效果。

雖然 DIP 已經被證明十分有效，並在去噪、去水印、影象修復、超解析度等多個成像逆問題中獲得成功，但它的效果遠沒有達到當前最佳水平。因此研究人員提出通過返回顯式正則化為 DIP 提供額外提升的想法，以便豐富隱式正則化，從而更好地恢復影象。

那應該從如此多的正則化方法中選擇哪種呢？有趣的是，《Image restoration using total variation regularized deep image prior》中最近提出了對額外正則化的需求，它使用 Total-Variation 改善了修復結果。

在本文中，研究人員建議引入最近的去噪正規化概念 (RED)[17]，並將它與 DIP 融合。RED 的特別吸引力在於它優於其它許多正則化方案，並且依賴現有的去噪演算法來定義正則化項。本研究的一個特殊挑戰是找到訓練新的複合目標 DIP + RED 的方法，同時避免去噪函式的顯式求導。

這些都是通過使用交替方向乘子法 (ADMM)[18] 實現的，它有一個額外的優勢：相對於所採用的停止規則，它有一個穩定的恢復。這個方案被稱為 DeepRED，經過影象去噪、單張影象超解析度和影象去模糊方面的測試，RED 顯示出明顯優勢。結果表明，無論是相對於 [17] 中的自然 RED 或 DIP 本身，所有結果都得到了顯著改善。事實上，儘管 DeepRED 是一種無監督的方法，但它更接近於逆問題的監督求解器。

論文 ：DeepRED: Deep Image Prior Powered by RED

論文連結：https://arxiv.org/abs/1903.10176

多年來，研究人員使用各種策略、工具和理論對成像中的逆問題進行了廣泛研究。最近，這一領域受到了深度學習技術的巨大影響。Ulyanov 等人的深度影象先驗（DIP）研究就是其中之一。DIP 為逆問題的正則化提供了一種新方法。儘管 DIP 已被證明是有效的，但與最先進的替代方法相比，它的效果並不理想。

在這項工作中，研究人員的目標是通過新增一個顯式先驗來增強 DIP，這豐富了整體正則化效果，從而可以更好地恢復影象。更具體地說，研究人員建議引入去噪正則化（RED）的概念，它利用現有的降噪器來正則化逆問題。本文的研究展示瞭如何將兩者（DeepRED）合併到高效的恢復過程中，同時避免區分所選的降噪器，併產生非常有效的結果，這在幾個已測試的逆問題中得到了證明。

DeepRED 方案

將 DIP 和 RED 合併，目標函式變為：

注意，要避免使用 x，並定義關於未知數 Θ的整體優化。這需要求解： 

雖然這看起來很簡單，但實際上行不通。因為在 T 上反向傳播需要對去噪函式 f(·) 求導。對於大多數降噪器來說，這是一項必須避免的艱鉅任務。如上所述，在適當條件下，RED 可以避免這種直接求導，研究人員想利用的也是它這個特性。

解決這一問題的方法是採用交替方向乘子法 [18]。從等式 (4) 開始，利用增廣拉格朗日乘子法 (AL) 將約束項轉化為懲罰項。

在這個表示式中，u 代表等式約束集合的拉格朗日乘子向量，而µ是被選擇的自由引數。

ADMM 演算法相當於此表示式中三個未知數——Θ、x 和 u 的順序更新。

演算法 1 總結了應用此整體演算法處理 DeepRED 目標最小化的步驟。

實驗結果

本文在一系列實驗中測試了提出的 DeepRED 方案。下面考慮了三種應用：影象去噪和單張影象超解析度（SISR）以及影象去模糊。

圖 2 顯示了從這些實驗中獲得的兩個視覺化視覺結果，以說明獲得的影象恢復效果。

超解析度結果。上兩行：花朵 (Set14)，比例因子 4。下兩行：斑馬 (Set14)，比例因子 4。

研究人員分別測試了 4 和 8 的比例因子，並將結果與 DIP [13] 和 RED [17] 在兩個資料集上進行了比較。表 2 和表 3 對結果進行了總結。可以看出，RED+DIP 的效果始終優於單獨使用 DIP 或 RED。

表 2：Set5 的超解析度結果。

表 3：Set14 的超解析度結果。

研究人員將 DeepRED 與 DIP、RED 和 NCSR Deblur 在 4 幅彩色影象上進行了比較。結果如表 5 所示。此外，圖 4、圖 5 和圖 6 給出了該實驗的三組結果，結果表明 RED 正則化效果優勢明顯。

表 5：影象去模糊結果

圖五和圖六分別是鸚鵡和樹葉的影象去模糊結果比較。