比無所不能的DIP更強大的影像恢復方法:DeepRED

機器之心發表於2019-04-06

成像中的逆問題(inverse problem)是基於給定的損壞程度 y 對未知影像 x 的恢復。由於逆問題往往是病態(ill-posed)的,因此恢復過程成功的關鍵是正則化的選擇。作為穩定逆向退化的影像先驗,正則化將結果導向更合理的影像。

Ulyanov[13,14] 等人最近的工作為逆問題與深度學習的融合做出了特殊貢獻。本文提出了深度影像先驗(DIP)方法,這是一種在逆問題中處理正則化任務的新策略。與大多數早期的方法不同,DIP 建議使用深度網路本身作為逆問題的正則化工具,而不是採用監督的方法。

更具體點來說,DIP 移除了顯式正則化,取而代之的是假設未知影像 x 是來自學習到的網路的生成圖。當 DIP 與損壞影像的網路引數相匹配時,就可以根據要處理的影像進行調整。研究人員對這項研究的極大興趣是源於一個絕妙的想法,即隱式地使用網路的架構來獲得恢復影像 x 的正則化效果。

雖然 DIP 已經被證明十分有效,並在去噪、去水印、影像修復、超解析度等多個成像逆問題中獲得成功,但它的效果遠沒有達到當前最佳水平。因此研究人員提出通過返回顯式正則化為 DIP 提供額外提升的想法,以便豐富隱式正則化,從而更好地恢復影像。

那應該從如此多的正則化方法中選擇哪種呢?有趣的是,《Image restoration using total variation regularized deep image prior》中最近提出了對額外正則化的需求,它使用 Total-Variation 改善了修復結果。

在本文中,研究人員建議引入最近的去噪正規化概念 (RED)[17],並將它與 DIP 融合。RED 的特別吸引力在於它優於其它許多正則化方案,並且依賴現有的去噪演算法來定義正則化項。本研究的一個特殊挑戰是找到訓練新的複合目標 DIP + RED 的方法,同時避免去噪函式的顯式求導。

這些都是通過使用交替方向乘子法 (ADMM)[18] 實現的,它有一個額外的優勢:相對於所採用的停止規則,它有一個穩定的恢復。這個方案被稱為 DeepRED,經過影像去噪、單張影像超解析度和影像去模糊方面的測試,RED 顯示出明顯優勢。結果表明,無論是相對於 [17] 中的自然 RED 或 DIP 本身,所有結果都得到了顯著改善。事實上,儘管 DeepRED 是一種無監督的方法,但它更接近於逆問題的監督求解器。

論文 :DeepRED: Deep Image Prior Powered by RED

比無所不能的DIP更強大的影像恢復方法:DeepRED

論文連結:https://arxiv.org/abs/1903.10176

多年來,研究人員使用各種策略、工具和理論對成像中的逆問題進行了廣泛研究。最近,這一領域受到了深度學習技術的巨大影響。Ulyanov 等人的深度影像先驗(DIP)研究就是其中之一。DIP 為逆問題的正則化提供了一種新方法。儘管 DIP 已被證明是有效的,但與最先進的替代方法相比,它的效果並不理想。

在這項工作中,研究人員的目標是通過新增一個顯式先驗來增強 DIP,這豐富了整體正則化效果,從而可以更好地恢復影像。更具體地說,研究人員建議引入去噪正則化(RED)的概念,它利用現有的降噪器來正則化逆問題。本文的研究展示瞭如何將兩者(DeepRED)合併到高效的恢復過程中,同時避免區分所選的降噪器,併產生非常有效的結果,這在幾個已測試的逆問題中得到了證明。

DeepRED 方案

將 DIP 和 RED 合併,目標函式變為:

比無所不能的DIP更強大的影像恢復方法:DeepRED

注意,要避免使用 x,並定義關於未知數 Θ的整體優化。這需要求解: 

比無所不能的DIP更強大的影像恢復方法:DeepRED

雖然這看起來很簡單,但實際上行不通。因為在 T 上反向傳播需要對去噪函式 f(·) 求導。對於大多數降噪器來說,這是一項必須避免的艱鉅任務。如上所述,在適當條件下,RED 可以避免這種直接求導,研究人員想利用的也是它這個特性。

解決這一問題的方法是採用交替方向乘子法 [18]。從等式 (4) 開始,利用增廣拉格朗日乘子法 (AL) 將約束項轉化為懲罰項。

比無所不能的DIP更強大的影像恢復方法:DeepRED

在這個表示式中,u 代表等式約束集合的拉格朗日乘子向量,而µ是被選擇的自由引數

ADMM 演算法相當於此表示式中三個未知數——Θ、x 和 u 的順序更新。

演算法 1 總結了應用此整體演算法處理 DeepRED 目標最小化的步驟。

比無所不能的DIP更強大的影像恢復方法:DeepRED

實驗結果

本文在一系列實驗中測試了提出的 DeepRED 方案。下面考慮了三種應用:影像去噪和單張影像超解析度(SISR)以及影像去模糊。

圖 2 顯示了從這些實驗中獲得的兩個視覺化視覺結果,以說明獲得的影像恢復效果。

比無所不能的DIP更強大的影像恢復方法:DeepRED

超解析度結果。上兩行:花朵 (Set14),比例因子 4。下兩行:斑馬 (Set14),比例因子 4。

研究人員分別測試了 4 和 8 的比例因子,並將結果與 DIP [13] 和 RED [17] 在兩個資料集上進行了比較。表 2 和表 3 對結果進行了總結。可以看出,RED+DIP 的效果始終優於單獨使用 DIP 或 RED。

比無所不能的DIP更強大的影像恢復方法:DeepRED

表 2:Set5 的超解析度結果。

比無所不能的DIP更強大的影像恢復方法:DeepRED

表 3:Set14 的超解析度結果。

研究人員將 DeepRED 與 DIP、RED 和 NCSR Deblur 在 4 幅彩色影像上進行了比較。結果如表 5 所示。此外,圖 4、圖 5 和圖 6 給出了該實驗的三組結果,結果表明 RED 正則化效果優勢明顯。

比無所不能的DIP更強大的影像恢復方法:DeepRED

表 5:影像去模糊結果

比無所不能的DIP更強大的影像恢復方法:DeepRED

圖五和圖六分別是鸚鵡和樹葉的影像去模糊結果比較。

相關文章