摘要：有沒有一種呈現，不以追求商業為第一目的，不用花大價錢，不用翻拍，沒有畫蛇添足，低成本的可共賞的讓經典更清晰？
本文分享自華為雲社群《除了重映和翻拍，重溫經典的第三種可能》，原文作者：音視訊大管家。
時隔12年，《阿凡達》重映了，國內重映票房累計預估14.8 億元人民幣！！！
經典就是經典！
說到經典重映，沒有奧斯卡最佳攝影、最佳視覺效果、最佳藝術指導三大獎項加持，很難有哪部電影，能有《阿凡達》這樣重映的底氣吧。包括《泰坦尼克號》、國內星爺的《功夫》等，更多是花大價錢做修復，甚至還原成3D版，客觀說市場效果一般。
為了經典再現，翻拍也是一個方式，如《大話西遊III》、《倩女幽魂》、《白蛇傳說》，結果觀眾並不買單。畢竟成為經典除了劇情和導演，還有演員以及時代的特徵等因素的共同作用，所以翻拍一不小心就失去了原有的味道。
有沒有一種呈現，不以追求商業為第一目的，不用花大價錢，不用翻拍，沒有畫蛇添足，低成本的可共賞的讓經典更清晰？
有！因為人們對經典影片再次精彩呈現的追求，從未止步。為了讓經典重新煥發光芒，華為雲視訊雲開啟了香港經典電影的高清修復之路。
這個週末，重溫80後的青春記憶就在華為視訊APP。
一、電影修復要做什麼
先做一個範疇設定：我們今天聊的是電影AI修復的問題。所以高成本多人力投入類似《泰坦尼克號》的修復不在此範疇。
電影修復最直觀的是讓影像更清晰。第一步需要了解影像不清晰的原因是什麼。我們直觀理解是：時間太久了。
從專業的角度來說，電影的修復，除了視訊修復外，還需要做視訊增強的處理，這樣才能達到更好的效果。
1.視訊修復
視訊修復要解決的問題是：視訊在拍攝、壓縮、傳輸、儲存等環節由於各種原因導致的視訊畫質問題。這些畫質問題展開來說包括：劃痕、壓縮失真、噪點等。為了幫助大家更直觀瞭解這些問題對畫面的影響，我們找來了某些方面的問題比較突出的圖片。
儲存或搬運受損導致的劃痕
壓縮帶來的失真
拍攝裝置侷限產生的噪點
當然，以上圖片並非只有一個問題。同樣，在電影修復的真實場景中，往往包含多種失真，且失真程度差異大。修復起來就得綜合考慮。
2.視訊增強
視訊增強主要增強哪些部分？肉眼如何辨別增強效果？
視訊增強的效果一般從四個方面來體現：解析度、幀率、動態範圍、色域。
- 高解析度
解析度在這裡指顯示器所能顯示的畫素有多少。顯示器可顯示的畫素越多，畫面就越精細。很明顯，4K能顯示的比720P顯示的就清晰很多。視訊增強可以提升解析度。
- 高幀率
我們都知道，視訊是由一幀幀圖片組合而成。可以將左邊的視訊理解為1秒鐘有24幀圖片，右邊1秒鐘有60幀圖片，很明顯，右邊的視訊看上去更加流暢順滑。
- 高動態範圍
高動態範圍簡稱HDR，標準動態範圍簡稱SDR。通俗講，在SDR的基礎上，HDR能做到讓畫面亮的地方更亮，暗的地方更暗；色彩的範圍可以由BT709增加到BT2020；並且色彩的變化也會更加平滑。
- 廣色域
廣色域，可以理解為單獨對顏色的範圍進行調整，由原來的709BT提升到2020BT。
總之，視訊增強主要是在以上四個方面增強效果，解決的是因顯示硬體升級，使得先前採集、製作的視訊無法最優匹配的問題。
二、電影修復的三大挑戰
目前要自動修復老電影，並非易事，面臨著三大挑戰：資料、演算法、評價。
1.資料挑戰：盲修復任務的泛化能力提升
電影的失真往往包含了上述多個問題，也就是混合失真。盲修復，就是在修復之前，並不清楚視訊中有哪些問題，用的是泛化的演算法，面臨難題是：如何提升泛化演算法的自適應性來應對多種修復場景；如何利用少量對比的資料，提升學習效果。
混合失真
強度不一失真
2.演算法挑戰：如何同時讓影像各個方面質量得到提升
與失真的情況一樣，視訊增強在實際應用中，往往是多工組合，如將1080p 30fps SDR提升為4K 60fps HDR視訊。即同時需要將影像解析度由1080變成4000，將每秒的幀數由30提升到60，將標準動態範圍轉為高動態範圍。說人話就是讓視訊的影像畫素更高、光線更清晰、色彩更飽滿、顏色過度更順滑、運動畫面顯示更流暢。這就要求多工之間的優化需要聯合增強。
3.評價挑戰：針對生成影像的質量評價
傳統的評價演算法主要有PSNR，SSIM，VMAF，然而表現並不好。基於深度學習的修復增強演算法，輸出訊號特徵與原圖差異巨大。舉個例子：圖片Reference經過一定處理以後，如果用傳統的評價演算法，得出的是Patch0，而我們主觀評價是Patch1. 說明傳統評價演算法與主觀評價演算法不太一致，這就需要新的評價演算法。
三、華為雲視訊雲如何修復電影
先來直觀感受一下華為雲視訊雲修復電影前後的對比，點選檢視《黃飛鴻》修復片段
1.電影修復技術架構
為了使修復做到輕量化、低成本以及自適應，華為雲視訊雲構建了一整套電影修復技術架構。該架構包括質量檢測、演算法排程以及主客觀評價三個環節，具體如下：
2.具體操作
- 混合失真修復
華為雲視訊雲在處理失真問題時，將傳統強度檢測作為先驗輸入，即對可能存在的失真問題，先預判，然後輸入AI演算法中，再構建多工混合失真修復模型，最後進行修復。
- 空域增強：基於語義特徵的視訊超分
超分就是指通過媒體處理技術將解析度低的圖片變為解析度更高的圖片。超分實現的原理是：先利用了大量的高解析度影像積累並進行學習，再對低解析度的影像進行學習高解析度影像的學習模型引入來進行恢復，最後得到影像的高頻細節，獲得更好的影像恢復效果，提高影像的識別能力和識別精度。
對大部分電影、電視劇，受眾往往更關注人臉及字幕，所以這兩者是重要的增強區域，且具有較強先驗。華為雲視訊雲從網路輕量化、穩定性、綜合效果等角度出發，實現了一種基於語義的自適應超分演算法。對比可參考下圖：
- 時域增強：插幀
空域與時域是一個相對概念，如果把空域理解為影片當中的某一個畫面，那麼時域更關注的是畫面之間的銜接關係。如果空域增強是對每個畫面的增強，那麼時域增強在視覺感知上，往往指影片畫面與畫面之間的銜接更順滑與流暢。所以在視訊增強過程中，插幀是強依賴於運動估計。這個估計準確度又會受遮擋、小物體大運動、重複紋理、運動模糊等場景的影響。
華為雲視訊雲通過改進網路，結合傳統方法，如參考時空域上相鄰的運動向量對光流進行修正，如下：
- 對比度與飽和度增強
現有基於深度學習的對比度和飽和度增強演算法，由於資料的不足，難以達到好的效果。華為雲視訊雲通過尋找影像在亮度和色彩空間的統計規律，作為網路先驗輸入，能較好解決資料問題。
說了這麼多，你一定想問，在哪裡可以看到啊？
小編不賣關子了，請移步華為視訊-電影-高清修復，歡迎對比提建議。
這個週末，讓我們一起重溫星爺的老電影，還有那些曾經的經典之作。
同樣的片段，現在的你和曾經的你，心境是否一樣？
