背景
談到視頻，畫質是必要因素，這個領域中都要想方涉法提高視頻畫質。
隨著相關技術的進步以及網速的大規模升級，超清/高清視頻已經成為了我們觀看內容的標配，但是事實上，網絡上還是存在很多低質的視頻/圖片資源。大部分可以歸結為3點原因：
1.用戶自己上傳的低質視頻/圖片。由於用戶沒有專業知識，很可能在拍攝和制作視頻時引入噪點，模糊，壓縮塊效應，色彩灰暗等問題。
2.年代久遠的電影電視劇。從錄像帶轉為數字化會有噪點，劃痕等問題。而以前的VCD，DVD的分辨率又非常低。
3.省流/流暢模式。用戶很可能因為網絡條件受限，主動選擇低碼流的視頻，在畫質上做出妥協。
綜上，這些低質視頻的表現是多種多樣的，包括低分辨率，背景噪聲，壓縮噪聲，色彩灰暗，劃痕等等。而ZoomAI的提出就是要利用AI技術提升這些視頻的品質。
什麼是ZoomAI
ZoomAI是一套完整的視頻增強解決方案，將AI技術作用於圖片和視頻，達到畫質增強的效果。
ZoomAI內部由多個模塊組成，每個模塊負責一種或者幾種畫質增強的方向，比如超分辨率，去除噪聲，銳化，色彩增強等等。每個模塊都是由一個或者多個深度學習模型組成。
由於每一個子模塊相互之間沒有依賴，所以在使用ZoomAI時，我們可以針對不同的場景自由組合所需的模塊。比如下圖中，如果模塊1是去噪模塊，模快2是色彩增強模塊，那麼我們就對原始的低質視頻進行“去噪+色彩增強”這兩個操作。
ZoomAI的主要模塊介紹
超分辨率模塊：
為了訓練一個超分辨率的深度學習模型，經典做法是讓模型輸出的大圖與真實的高分辨圖的每一個對應像素值接近，也就是採用L2範數作為訓練誤差。
但是L2 Loss 的主要問題是生成的圖像會比較模糊。我們則採用2個方案來解決L2模糊的問題：
1. 在訓練圖中加入一定量的模糊操作
2.加入梯度Loss，要求生成圖的梯度要與真實圖的梯度盡可能一致
經過上述兩個方法改良之後，我們最終訓練得到的超分辨率模塊可以明顯生成更清晰的高分辨率圖片。
（雙線性插值）
我們的方法
除此之外，針對移動端實時計算的場景，我們設計了另一種單層模型，並開發了移動端的SDK。該SDK核心代碼利用OpenGL編寫，可以充分利用移動端的GPU性能，並且具有跨平臺特性，可以方便的集成進入iOS和安卓App中。在蘋果和安卓的中高端機型中，均能實時超分到1080P。
去噪和銳化模塊：
視頻中的噪聲包括拍攝時的底噪，膠片數字化引入的噪聲以及視頻壓縮帶來的塊效應等。
一般來說，去噪類似於一個低通濾波器，會導致邊緣模糊，為了克服這一點，我們在一個網絡中同時訓練去噪和銳化，在去噪的同時保持邊緣甚至突出邊緣。
更多去噪效果圖： 原圖 + 增強圖
色彩增強的目的就是解決圖片或者視頻過暗，過曝，以及色彩灰暗的問題。一般有2大類方法：一個是黑盒模式，即通過端到端網絡，直接利用原圖生成增強圖。另一類是白盒模式，即網絡只得到圖像處理的參數，比如曝光度，對比度，飽和度等離散數值，再根據這些參數對原圖進行處理，得到增強圖。
相對於白盒模式，黑盒模式訓練更加直接簡單，但是色塊中容易出現異常值，且在視頻處理中容易出現相鄰幀突變的情況。而白盒模式會使得整體色彩更加連續。我們使用了很多訓練技巧，最終得到一個色彩表現不錯的白盒模型。
事實上，由於輸入圖片的種類和內容是包羅萬象，我們會對鮮豔圖片，人臉特寫圖片，卡通圖訓練不同的模型。所以我們還為了這個色彩增強模塊訓練了多種圖片分類模型。同時為了切分視頻場景，對每一個場景應用同樣的增強參數，我們還設計了場景分割算法。
效果顯示：先是原圖，然後是增強圖
去劃痕模塊：
在老舊膠片電影中，經常看到一些劃痕或者橫紋抖動。
我們將利用幀間信息來識別劃痕。一般劃痕只出現在某一幀中，這樣加上前後幀的信息，就能識別劃痕，並補全應有的像素。
修復效果如下：
以下是ZoomAI已經落地或者正在合作的應用場景。
1.老舊視頻修復：老舊電影電視劇的手工修復需要大量的時間和經費。一部電影至少需要10人20個工作日。而利用ZoomAI進行自動修復可以大幅減少這些成本。針對老舊視頻，我們在ZoomAI中依次進行“去劃痕“，“去噪+銳化”，“色彩增強”， “超分辨率”這四個模塊，就可以取得明顯的效果。
2.動畫片增強：我們採用“色彩增強”+“超分辨率”使線上動畫片更加高清，並且色彩鮮豔。
3.短視頻封面圖增強：對於短視頻的封面圖，進行“去噪+銳化”和“色彩增強”。封面圖效果如下: (先原圖，再增強圖)
4.漫畫/動漫/輕小說封面圖增強
以上便是ZoomAI在愛奇藝的現狀，我們的使命就是提升愛奇藝所有視頻/圖像資源的質量，讓每一位用戶都能在愛奇藝“悅享品質”。
寫在最後
考慮到未來的場景，我們有幾個研究方向。
1.設計更多的適合移動端的輕量級算法模塊
2.對字幕，人臉，虛化背景等局部畫面進行針對性的處理
3. 研發黑白資源的自動上色系統