機器之心報導，參與：思源。
很多遊戲曾經承載著一代人的記憶，CS、魔獸爭霸、紅警更是經典中的經典。但是隨著計算資源的大幅度提升和「顯示卡殺手」的不斷湧現，很多時候我們會感覺這些遊戲的畫面非常粗糙，甚至適配到寬屏都需要特定的修改。很多遊戲自身也會一直迭代新版本，然而也很難取代第一次玩遊戲的感動。儘管目前有一些高清重製版，但需要很多成本和時間，因此技術宅們想到了深度學習，想到了影象超解析度。
影象超解析度是指從觀測到的低解析度影象重建出相應的高解析度影象，這種重建不僅指令影象變得清晰銳利，同時還表示模型需要利用影象的高階語義資訊重建出丟失的資訊。因此這實際上是一個比較困難的任務，不過目前基於卷積神經網路或生成對抗網路的方法還是有比較好的效果。
最近有研究者使用超解析度技術「高清化」曾經的經典遊戲，他們從去年 12 月開始陸續推出幾款「高清重製版」遊戲，包括《重返德軍總部》、《毀滅戰士》和《上古卷軸 III：晨風》，而這幾天更是放出《馬克思·佩恩》的高清版。這些高清化的遊戲都可以直接下載：
重返德軍總部：http://www.mediafire.com/file/1o5k4ktrkk4cv54/pak1.pk3/file
毀滅戰士：https://www.doomworld.com/forum/topic/99021-v-0-95-doom-neural-upscale-2x/
上古卷軸 III：晨風：https://www.nexusmods.com/morrowind/mods/46221?tab=files
馬克思·佩恩：https://www.moddb.com/games/max-payne/addons/max-payne-remastered
下面的視訊展示了《重返德軍總部》的超解析度效果，遊戲看上去精細了很多：https://v.qq.com/x/page/m0825wvjvqn.html
此外值得注意的是，重製版遊戲的紋理都是採用 ESRGAN 構建的，因此重製的紋理保留了原始紋理的美感。這對很多玩家而言是非常有意義的事，因為老遊戲的紋理不需要替換，它們的藝術風格同樣不會改變。這也就避免了玩人工重製版遊戲像玩新遊戲那樣的尷尬。
這個專案採用的超解析度技術是 2018 年提出的 ESRGAN，即增強型超解析度生成對抗網路，這種技術會將真實的細節新增到低解析度的影象中，因此產生更精細的畫面。通過欺騙判別器，相比傳統的超解析度技術，它能生成更大保真度、更真實的影象。此外 ESRGAN 還開源了論文程式碼，說不定這些遊戲就是使用這個專案做的呢。
ESRGAN 實現地址：https://github.com/xinntao/ESRGAN
ESRGAN 的核心思想同樣非常直觀，即我們希望生成器能生成高解析度影象以欺騙判別器。其中生成器會將低解析度影象作為輸入，並採用如下的神經網路將低解析度影象擴張成高解析度影象。如果判別器不能識別生成高解析度影象和已有高分辨影象之間的差別，那就表示超解析度模型的效果非常好，我們就能愉快地重製經典遊戲了。
如上所示，ESRGAN 採用 SRResNet 作為生成器的基本架構，其中大多數計算都發生在低解析度的輸入影象 LR 上，它因為尺寸較小而能節省很多計算力。此外相比於原版的 SRResNet，ESRGAN 修正了主要的殘差模組，因此更適合生成對抗網路。在完成橙色部分的主要運算後，生成器能提取低解析度影象的高階語義資訊，藉助這些資訊並完成上取樣後，模型最終能生成高清大圖。
前面所示生成器的計算主要發生在橙色的殘差模組，ESRGAN 發現批量歸一化（BN）在訓練集和測試集有顯著差異的情況下會降低模型準確率，且在 GAN 框架下不是那麼重要，因此他們刪除了 BN 模組。ESRGAN 中的另一個改進是將殘差模組替換為殘差+密集連線模組，這兩個改進都展示在下圖。
ESRGAN 儘可能地提升生成器的表達能力，不過判別器只需要常見的二分類模型就行了，它需要判斷影象到底是標註的高清圖還是生成的高清圖。當然，GAN 本身還有很多改進以匹配超解析度任務，包括 採用 Relativistic 判別器和 Perceptual 損失函式等，感興趣的讀者可查閱以下原論文。
論文：ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks
摘要：超解析度生成對抗網路（SRGAN）是一項開創性的工作，能夠在從單張低解析度影象重建出高解析度影象（single image super-resolution，SISR）過程中生成逼真的紋理。然而，預測細節通常伴隨著令人不快的偽影。為了進一步提高視覺質量，我們徹底研究了 SRGAN 的三個關鍵組成部分：網路架構、對抗性損失和感知損失，並對每個元件進行了改進，得到了增強型 SRGAN（ESRGAN）。特別是，我們在沒有批歸一化的情況下引入 Residual-in-Residual Dense Block（RRDB）作為基本網路構建單元。此外，我們借用 relativistic GAN 的思想來讓判別器預測相對真實性而不是絕對值。最後，我們通過使用啟用前的特徵來改善感知損失，這可以為亮度一致性和紋理恢復提供更強的監督。得益於這些改進，本研究提出的 ESRGAN 實現了始終如一的更好的視覺質量，具有比 SRGAN 更逼真和自然的紋理，並在 PIRM2018-SR 挑戰賽中獲得第一名。
