阿里巴巴達摩院奪得首屆“馬欄山杯”國際音影片演算法最佳化大賽【畫質損傷修復賽道】冠軍

視覺計算發表於2020-09-22

首屆“馬欄山杯”國際音影片演算法最佳化大賽頒獎盛典暨高峰論壇於9月8日舉行。這場由中國工業與應用數學學會、中國網路社會組織聯合會作為指導單位,湖南省網際網路資訊辦公室、湖南省科學技術協會主辦,中國(長沙)馬欄山影片文創產業園、芒果TV承辦的演算法盛事,雲集了全球優秀的演算法精英。一大批來自高校、科研院所、網際網路企業才子才女們,共1294支隊伍報名參賽,其中北京大學34支,清華大學25支,麻省理工學院等國外頂級名校37支。

在這次論壇上,達摩院高階演算法專家任沛然受邀做了《視覺智造——智慧視覺編輯與增強》的主題報告,介紹了達摩院在智慧影片植入和超高畫質影片增強方面的技術進展和產品解決方案。

1.png

在歷時一個多月的賽程中,由阿里巴巴達摩院同學曾輝、楊熹、向非組建的Mangogogo隊一路穩居初賽複賽第一,以88.503的成績奪得畫質損傷修復賽道的冠軍。

2.jpg

Mangogogo團隊設計的方案針對影片在採集、後期製作等環節產生的噪聲、壓縮損傷等問題做了很多巧妙的演算法最佳化設計,如充分利用影片影像幀與幀間的特性達到影片細節恢復能力,同時模型設計能夠緩解大解析度和視訊記憶體有限之間的矛盾,並融合幾個互補演算法模型的不同優點,將低畫質影片恢復為高畫質影片。最終,他們憑藉多重複合最佳化方案達到最佳修復效果,一舉奪魁,給該領域演算法模型的最佳化提供了可借鑑的創新思路。奪冠方案主要有兩個方面的最佳化,一是採用了512x1024和512x512兩種大小的patch進行訓練,足夠大的輸入影像以充分利用幀間互補資訊。二是在模型結構上也採用了互補設計,其中一個模型重點利用注意力(attention)機制,一個模型層數更深以獲取更大的感受野資訊。透過不同的設計可以得到更加互補的融合效果,這是從之前比賽中積累總結的經驗。

Mangogogo的隊員來自達摩院人工智慧中心,隊長曾輝曾在計算機視覺和影像處理領域頂級會議CVPR, ICCV和頂尖期刊TPAMI和TIP發表數篇論文,在他的帶領下,Mangogogo團隊曾在第一屆全國人工智慧大賽AI+4K HDR賽道中勇奪冠軍。

Mangogogo近期屢獲影片畫質增強與修復大賽冠軍,其技術底蘊源自阿里巴巴在該領域的持續大量研發投入。近年來,國家層面正在推動4K超高畫質發展戰略,國家廣播電視總局今年6月剛剛印發了《4K超高畫質電視節目製作技術實施指南(2020版)》。我們可以預見,畫質增強在廣播電視和泛娛樂影片領域的需求會越來越大。此外,畫質修復也常常應用於歷史影像的還原,除了有助於影視文化傳承,這也是視覺AI技術賦能傳媒行業的典型場景,有著巨大的商業潛力。

阿里巴巴達摩院已將相關技術產品化,並推出阿里雲AI影片增強解決方案:
依託達摩院先進的超分、去噪、插幀、HDR色彩增強、字幕重生、去劃痕等AI演算法能力,該方案囊括了4K超高畫質增強、通用畫質增強與老片修復、以及即將推出的直播影片增強等典型影片增強場景。
歡迎行業內相關單位與個人洽談合作,聯絡方式如下:
郵箱:chris.xx@alibaba-inc.com
釘釘群:阿里雲AI影片增強諮詢

3.png


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69956605/viewspace-2723251/,如需轉載,請註明出處,否則將追究法律責任。

相關文章