張國榮《熱·情》演唱會再現熒幕:AI修復解鎖的經典與視聽生活
每年的4月1日,都會有千萬人自發地去追思張國榮。或重溫影視片段,或聽經典曲目,在哥哥生前傾注的心血中持續不斷獲得動力與力量。
熟悉張國榮的粉絲,可能都瞭解哥哥生前最後的一場演唱會——《熱·情》。這場演唱會由其親自擔任藝術總監,從藝術構思到劇情式的曲目編排,承載著他對華語歌壇的滿腔熱忱。在張國榮闊別19年後,塵封的《熱·情》演唱會母帶,在AI技術的修復下,與粉絲重逢。
4月1日 ,由騰訊雲多媒體實驗室領先演算法團隊修復、騰訊音樂娛樂集團攜手環球音樂旗下廠牌寶麗金,並聯合騰訊雲、微信視訊號、騰訊視訊等多個團隊聯合呈現的“張國榮2000年《熱·情》演唱會超清修復版”全球首播。數千萬粉絲共同見證了AI技術加持下的這場風華絕代的演唱會。
視訊修復並不是新鮮的事物,相信大部分讀者之前在社交平臺中都刷到過用AI修復百年前老北京影片的新聞。許多經典老片、大熒幕電影都經過AI技術的修復,被重新搬上了熒幕。AI技術修復視訊影像資料此前大都集中在影視領域,對於演唱會這類視訊資料的修復較少見。雖然都是修復視訊,但演唱會和影視類的視訊修復還是有著較大的區別。
視訊修復中的“長尾”困境
視訊修復包含物理修復和數字修復,前者指對於膠片本身的修復,包括去除雜質、形變、劃痕等流程,後者則主要集中在基於機器學習、深度學習這方面的全自動修復,AI技術的引入,在修復領域的核心價值就是儘可能用技術覆蓋以前堆砌人力的方式,去減少人力與修復成本。
視訊修復解決的是老舊影視資料中,畫面雪花、劃痕等造成視訊素材清晰度、畫面、色彩等造成的感官損失度感受。影視劇視訊的修復,相對演唱會而言場景比較固定,鏡頭的運作以及整個畫面比較穩定,從頭到尾的藝術表達形式、整體的色彩風格比較統一。
但演唱會不一樣,演唱會裡面的燈光與畫面鏡頭會有特別多的切換,尤其是在人臉修復方面,光影效果在現場看是助燃劑,但對於修復來說,就是複雜的“災難”,對於修復的效果會造成特別大的影響。
腦極體跟此次《熱·情》演唱會背後的修復技術專家也聊了下,有關演唱會修復背後的一些技術與故事。
騰訊多媒體實驗室專家研究員夏珍介紹道,現在業界基本上很難找到基於視訊的人臉修復,大部分的人臉修復只是基於圖片或者單張照片,如果要用到視訊上會遇到更多複雜的問題。比如每一幀中臉的角度不一樣,如果是側臉或者很小的臉以及很大的臉,各種角度和姿態的臉都需要在演算法處理裡面能夠解決這些問題。
在演唱會修復中,不僅需要面對人臉本身的修復問題,還疊加了光影的影響。演唱會不僅有燈光並且顏色多變,打在人臉上後,如何運用智慧演算法,解決這些問題,是一項不小的挑戰,並且在這其中,也會有技術不能解決的問題。
我們知道,在視訊修復中,劃痕和雪花點的數量越多,觀賞的體驗也就越差。修復領域,劃痕的修復成本高昂,並且多數的劃痕修復不可逆。並且業界也缺乏龐大的劃痕公開資料庫,這也使得演算法難以調優,而搭建資料庫的話,成本也非常昂貴。
演唱會這類視訊的修復有著許多長尾問題,除了運用純演算法模型的方式之外,也需要一些人工引數的調整,比較費心思。
據騰訊多媒體實驗室方面介紹,此次演唱會的修復工作用到的是實驗室旗下的“超清沉浸感修復引擎”,這是面向老片修復場景的技術解決方案。整個演唱會的修復包括智慧分析、畫質修復、畫質增強、智慧編碼四個步驟。通過多種AI評估演算法對視訊內容進行幀級別、場景級別和視訊級別等多維度的智慧分析。利用多種人工智慧修復演算法,針對老片場景下進行訓練和優化,修復老片中常見的豎線、雪花點、噪聲、壓縮失真、抖動等問題。
從整體畫面的主觀感受上來看,修復後比以前的畫面更清晰、更真實。這種真實感來自畫質整體的增強,包括解析度、色彩、幀率等方面的提升。在張國榮近景特寫中,我們能夠明顯感受到他臉部的輪廓、毛孔、鬍子都比老版要清晰很多。用資料來表示效果也十分明顯,之前母帶解析度只有720×480的解析度,修復以後接近4K高清畫質,解析度提升了6倍,整個畫面的流暢度也有所優化。
除了騰訊外,不少技術團隊也在加碼高清視訊修復技術,給老舊影視資料帶來視聽效果效率與體驗的多維優化。
老影像裡的新生意
高清視訊修復經典作品,近兩年是許多流媒體開始投入去做的事情,如愛奇藝、優酷、西瓜視訊等,這些平臺都將AI技術修復視訊作為新的增長領域開拓。
愛奇藝自主研發了 ZoomAI 視訊增強技術,可以基於多個演算法模型實現去劃痕汙漬、超解析度、去噪銳化、智慧插幀,並支援4K高清的沉浸式觀影效果。
(三毛流浪記修復對比圖)
我們熟悉的老片《三毛流浪記》、紅色電影《小兵張嘎》、《東方紅》等140部經典影視也被愛奇藝重新修復為4K,搬上熒幕。為更好地推動經典修復的程式,愛奇藝也將高清視訊修復作為未來發展的重點,啟動了多個數字修復工程,聯合產業與多個機構等,持續延續高清視訊修復的公益與商業價值。
中影數字製作基地和中國科技大學,共同研發了一個基於 AI 的影像處理系統“中影·神思”。藉助“中影·神思”系統,中影基地已經成功修復了《厲害了,我的國》《馬路天使》《血色浪漫》和《亮劍》等多部影視劇。
中影數字製作基地修復中心主任對外披露,利用AI神思系統,修復一部電影的時間可以縮短四分之三,成本可以減少一半。
優酷也用阿里雲的“畫質重生”技術來修復老片。在優酷平臺,修復的經典影視內容播放量增長迅速,蘇有朋版本的《倚天屠龍記》一經修復,在優酷的播放量增長了450%。其他諸如《尋秦記》《士兵突擊》《亮劍》等經典電視劇,經過AI視訊修復後,都活躍在各大視訊平臺的榜單前列。
經典作品自帶持久的生命力,許多經典影視,如金庸武俠劇、老港片、經典TVB劇等都有著巨量的翻新需求,這些經典影視的粉絲群體龐大,懷舊經典是許多人的愛好,誰還沒個迴圈十來遍的愛劇呢?
修復老片不只是一種情懷,對於泛娛樂、流媒體領域來說也能夠產生新的商業價值和新的商業模式。《超高清視訊產業發展行動計劃》顯示,到2022年,超高清視訊產業總規模要超4萬億元。超高清視訊修復市場蘊藏著巨大潛力,讓視聽行業嗅到了藏在老影像裡的新生意。目前它雖是一個公益市場,但也是個不能忽視的商業市場。
優質內容是各家視訊網站角逐的核心,而經典老片如果可以低成本地大批量進行高清修復,意味著盤活了視訊網站的資源庫,可以吸引更多新使用者的留存與會員付費的可能。
高清視訊修復的技術與資源也會成為各家差異化的優勢,AI技術能夠將成本大幅降低,效率和效果大幅提升,通過技術手段可以彌補需求和供給之間的鴻溝。AI修復的背後,經典作品畫質的改善,與新的智慧裝置、觀看需求的匹配,會使得平臺品牌與流量互相正向迴圈促進。
不止技術,更是藝術表達
高清視訊的修復,不僅僅是在傳媒、流媒體、泛娛樂等領域具備創造價值,其與普通大眾之間,也逐漸縮短了距離。
西瓜視訊將自己的AI修復技術,後臺開放高清修復的功能給每一位普通使用者,使用者可以還原那些對自己有特殊意義的瞬間。如父母輩的一些結婚錄影,小時候家庭聚餐的錄影,咿咿呀呀學習說話的影像,十年前大學畢業的聚會視訊等。這些多年前的模糊影像,都會在AI技術的加持下,重新鮮活起來。
AI技術修復老片,也並不是萬能的,並不是可以解決所有的老片問題。據光明日報報導,中國電影資料館對於老電影修復,有兩組人員,一組是藝術專家組,另一組是技術專家組,兩組人員缺一不可。
(百年前的北京城AI修復前後效果對比,via大谷)
老電影的色彩,風俗等場景比較專業,需要藝術專業人員的把控。對老片的修復,並不是單純地把色彩修得好看,需要講究修舊如舊的氛圍感。這方面的把握,AI 還很難做到令人滿意。中影基地此前在修復彩色片《梁祝》時表示,其色調的濃稠就很難界定,需要多方專家一起來定奪。
在高清視訊的修復中,“修舊如舊”也並沒有什麼行業引數之類的標準存在,對於“如舊”的把控,需要結合所修復資料的具體場景、具體藝術表達來界定。這個界定就比較主觀,考察的是技術團隊與版權合作方等對於藝術氛圍的感覺。
在經典老片的修復過程中,不只是技術能力的釋放,也是一門藝術行為的表達。毫無疑問,AI 會加速高清視訊的修復,但也存在侷限,無法取代專業電影修復師。
對於高清視訊修復的未來,除了演算法模型的打磨外,全息投影,VR360都是可能的發展方向。隨著5G、高清智慧裝置端的普及,對於經典系列的畫質與清晰度的適配,使用者的要求也會越來越高,初階的480p、1080p到4K,已經是標配,未來4 K 到8K,適配VR 裝置的3D影像內容修復,會是廠商們發力的方向。
傳媒、泛娛樂、AI技術只要如常青樹一般發展,交叉領域的視訊修復就會乘著這股東風飛向遠方。無論是珍貴的經典、還是我們普通人曾經閃亮的瞬間,視訊修復都會點亮這些曾經褪色的記憶,讓舊時光重新鮮活起來,充實我們的生活。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31561483/viewspace-2885872/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 熱修復(一)原理與實現詳解
- 電影AI修復,讓重溫經典有了新的可能AI
- 愛奇藝ZoomAI技術,助力經典國劇修復OOMAI
- 悲觀鎖與樂觀鎖的實現(詳情圖解)圖解
- ICML 2017大熱論文:Wasserstein GAN | 經典論文復現
- 小白的經典CNN復現(三):AlexNetCNN
- 淺析“熱更新”(熱修復)解決方案
- Android熱修復原理(一)熱修復框架對比和程式碼修復Android框架
- Android 熱修復Android
- 輕鬆復現一張AI圖片AI
- 遠看就像演唱會,近看原來AI頂會:1.3萬人的NeurIPS已經太大了AI
- Android開屏、鎖屏、解鎖監聽實現Android
- 小白的經典CNN復現(二):LeNet-5CNN
- 【Android 熱修復】美團Robust熱修復框架原理解析Android框架
- 國民經典IP歸來,《劍網1:歸來》首測MV重燃熱血,再現武俠初夢
- Android熱修復原理Android
- 張錫純 經典名方
- 熱修復與外掛化基礎——dex與class
- Android熱修復之Tinker整合最新詳解Android
- COLING 2018 最佳論文解讀:序列標註經典模型復現模型
- struts2架構網站漏洞修復詳情與利用漏洞修復方案架構網站
- 【奶奶看了都會】AI老照片修復影片教程AI
- AQS:JAVA經典之鎖實現演算法(一)AQSJava演算法
- robust 熱修復實踐
- 微軟:解鎖英國的AI潛力微軟AI
- 淺談「復仇」在遊戲中的作用與經典案例遊戲
- AI能聽懂你的情緒了,人機互動會變得更好嗎?AI
- 我玩巫師3聽了200小時BGM!他們還要來中國開“演唱會”?
- AQS:JAVA經典之鎖實現演算法(二)-ConditionAQSJava演算法
- 被熱議的Metaverse,被忽視的現狀、大機會與隱憂Metaverse
- 熱修復與外掛化基礎——Java與Android的類載入器JavaAndroid
- 熱修復和外掛化
- 西瓜視訊4K修復技術還原經典,為內容創新開啟新思路
- 再談復現 Sora:被仰望與被遺忘的Sora
- Flutter Android 端熱修復(熱更新)實踐FlutterAndroid
- 中國AI的“底線思維”與安全鎖AI
- Flutter 使用 bugly 進行異常上報與熱修復Flutter
- 道聽途說-工作與生活中的方法論