讓老電影“重生”的AI超分辨技術，即將形成一波熱點

最近有件大事，11 月 15 日，全球矚目的經典電影《海上鋼琴師》4K 修復版即將登陸全國院線。歲月侵蝕的影片經典場景，在老膠片的儲存下只剩模糊的影像。而此次經 4K 技術修復的版本，據說採用了先進的影像超解析度技術，解析度和效果大幅度提升，磨損的影片影像恢復到當時拍電影時的真實效果，細節展現得淋漓盡致，光影清晰、細膩、賞心悅目。

這個影像超解析度技術黑科技到底是怎麼回事，加持人工智慧的影片超分又是如何實現的呢？

什麼是影像超解析度技術？

超解析度 (Super-Resolution) 是一種透過硬體或軟體的方法提高原有影像的解析度的技術，其中，透過一系列低解析度的影像來得到一幅高解析度的影像過程就是超解析度重建。超解析度重建的核心思想就是用時間頻寬 (獲取同一場景的多幀影像序列) 換取空間解析度, 實現時間解析度向空間解析度的轉換。

用通俗的話來講，超解析度就是將影像從下圖中左邊的樣子變成右邊的樣子。即提供更多的畫素點，讓影像的細節更加豐滿。如果從訊號的角度看，那就是在原訊號中補充出更多的高頻成分。

除了可以對傳統影視節目的影片影像進行修復重建外，這項技術在醫療影像分析、生物特徵識別、影片監控與安全等實際場景中也有著廣泛的應用。例如，警察可以透過超解析度技術識別監控影片中的罪犯，醫生可以透過超解析度技術得到更清晰的病灶影像等等。

上圖是利用超解析度技術處理影片前後。處理前，影片比較模糊、灰暗，影片中的偽影較多；處理後，影片在清晰度、明亮度上都有較大提升。

超解析度技術的研究現狀

影像的超解析度復原技術主要分為兩大類，一是基於重建的方法，二是基於學習的方法。近年來，隨著深度學習的興起，影像超解析度技術出現了新的研究方向。基於深度學習的 SR（Super-Resolution），主要是基於單張低解析度的重建方法，即 SISR(Single image Super-Resolution)。

SISR 是一個逆問題，對於一個低解析度影像，採用不同的方法得到的高解析度影像會略有不同。也就是說，可能存在許多不同的高解析度影像與之對應。因此，通常需要在求解高解析度影像時會加一個先驗資訊進行規範化約束。在傳統的方法中，這個先驗資訊可以透過若干成對出現的低-高解析度影像的例項中學到。而基於深度學習的 SR 透過神經網路直接學習解析度影像到高解析度影像的端到端的對映函式。

目前，基於深度學習的 SR 方法有很多，從 2014 年的 SRCNN 開始，到 VDSR 和 NTIRE2018 的冠軍 WDSR，基於深度學習的超分辨技術不斷創新網路架構、損失函式、學習策略，在特徵提取、非線性對映和重建的架構上取得不斷突破。

為了獲得高質量的高解析度影像，滿足人們在實際生產生活中的各種需求，超解析度影像復原的研究發展方向主要集中在以下三個方面：

1. 完善現有演算法，不斷髮展新的演算法。這樣做目的在於提高超解析度影像復原的能力，減小計算量，加快運算的收斂速度，適用不同的影像要求；
   

2. 發展和尋求新的退化成像模型，使成像模型更加精確和全面，實現對點擴散函式和噪聲的精確估計；
   

3. 在利用序列和多幅影像的復原中，發展和尋求新的運動模型，能夠對運動進行精確估計。
   

看到這裡，相信大家已經對這個 AI 新技術有一定的瞭解了。