翻譯 | 劉暢
編輯 | Donna，波波
超分辨重構是影像處理領域地一項非常有趣的任務。它可以通過演算法將一張低解析度的圖片放大成一張高解析度地圖片。這個事情乍一聽挺簡單的，普通的插值演算法即可勝任。但其實裡面大有玄機，尤其是細節的恢復。
目前該領域的發展引入了深度學習的方法，各種針對超分辨重構任務設計的深度學習網路結構層出不窮。
最近，來自俄羅斯斯科爾科沃科技研究院的博士生Dmitry Ulyanov，與其兩個導師 Victor Lempitsky和Andrea Vedaldi，共同設計了一個無需在資料集上學習和預訓練就可以完成超解析度、修補和去噪這三個任務的方法，並且使損壞的圖片有了驚人的修復結果。他們把整個過程在論文《Deep Image Prior》中進行了詳細描述，並在Reddit上炸開了鍋。
三位來自俄羅斯的深度學習學者
以上是三位研究人員用深度神經網路分析了幾個影像恢復問題。研究人員稱，他們從未使用資料集來訓練或預先訓練過它們，而是作為一個結構化的影像整體。
基本概述
深度卷積網路已經成為一種流行的影像生成和恢復工具。一般來說，這種工具的優秀通常體現在他們能從大量示例影像中學習到真實影像先驗資訊的能力。但是，我們得出了一個相反的結果：在進行任何學習之前，這種神經網路架構就可以獲取到足夠的低階影像統計資訊！
為了證實這一點，我們將隨機初始化的深度卷積網路作為手工輸入的先驗資訊，並在影像去噪、超分辨重構與影像修補等標準逆向問題上獲取到出色的結果。此外，同樣的先驗資訊可以通過神經網路結構的逆表達來診斷他們，並且基於flash-no flash輸入對來恢復影像。
我們的技術除了可以在許多領域得到應用，還突出了由標準的網路架構生成器得到的歸納偏置。它可以縮小兩個非常受歡迎的影像恢復方法類別之間的差距：使用深度卷積網路的基於學習的方法和基於手工影像先驗（例如自相似性）的免學習方法。
演算法核心思想
在影像恢復問題中，目標是恢復具有損壞的影像X0的原始影像X。公式化為一個優化問題就是：
其中E(x;x0) 是資料項，R(x) 是影像的先驗資訊。資料項E(x;x0) 通常易於設計並用於各種問題，如影像的超解析度，去噪，修補，然而影像的先驗資訊R(x) 是很具有挑戰性的一項。如今的趨勢是通過使用大量的示例對ConvNet進行訓練來得到先驗資訊R(x) 。我們首先注意到，對一個滿射函式g:θ→x，理論上以下過程等同於公式(1)
實踐發現，函式g大大改變了通過優化方法對影像空間進行搜尋的方式。此外，通過選擇一個“好”（可能是內射函式）的對映g，我們可以去掉先驗資訊這一項。我們定義函式g(θ) 為fθ(z)，其中f就是帶引數θ的深度ConvNet函式。然後z是一個固定輸入。因此產生了公式
在這個公式裡，網路結構fθ是隨意初始化的, 然後z是一個帶噪音的固定輸入。
換句話說，我們不是在影像空間中尋找答案，而是在神經網路的引數空間中尋找答案。我們想強調的是我們沒有使用預訓練的網路或影像資料集。即在影像恢復過程中只使用了損壞的影像X0。
附：本文嘗試的所有影像恢復事例：
作者 | Dmitry Ulyanov， Victor Lempitsky，Andrea Vedaldi
論文連結：
https://sites.skoltech.ru/app/data/uploads/sites/25/2017/11/deep_image_prior.pdf