經過3個月的角逐，愛奇藝聯合全球多媒體領域頂尖會議ACM International Conference on Multimedia(以下簡稱ACM MM）共同舉辦的多模態人物識別競賽於近日正式落下帷幕。本次大賽，吸引了包括卡內基梅隆大學、倫敦大學學院、埃克塞特大學、清華大學、北京大學等國內外頂尖高校，以及百度、中興、京東、美圖、英偉達等知名企業在內的共255支團隊同場競技。其中，來自於北京郵電大學自動化學院、北京郵電大學網研院網路智慧中心以及南京大學電腦科學與技術系的團隊分別獲得前三名。 獲得第一名的北京郵電大學自動化學院團隊將多模態影片人物識別精準度提升到了91.14%，愛奇藝攜手頂尖參賽團隊在多模態人物識別領域再次取得突破。此次競賽的頒獎儀式將在10月21日至25日在法國尼斯舉辦的第27屆ACM MM 大會上進行。
目前，全世界眾多科技公司以及學術機構釋出影片資料集，側重解決影片識別各種難題。其中，牛津大學釋出過VoxCeleb2資料集，其中包含6千多人，15萬影片，側重於解決說話人識別的問題；為了更好地檢索識別對影片中的說話的人物，其中，牛津大學釋出過VoxCeleb2資料集，其中包含6千多人，15萬影片，側重於解決說話人識別的問題；香港中文大學和商湯科技合作釋出的包括1218人，12.7萬影片CSM資料集，為了更好地檢索識別影片中的說話的人物。以色列特拉維夫大學的Youtube Faces DB，擁有3425個影片片段與1595個人物，用以解決非約束環境下的人臉識別問題。
此次，愛奇藝發起的多模態人物識別挑戰賽中，對參賽者公佈了透過嚴格人工標註、更具有挑戰性的多模態人物資料集（iQIYI-VID-2019），包含10000名明星人物、200小時、20萬條影視劇與短影片資料集，更接近實際應用場景，其中包括臉部，頭部，身體及聲紋4個模態的特徵，為學術界及工業界利用多模態特徵去更全面解決場景複雜、人體動作多變、化妝等人物識別難題提供了便利條件。參賽團隊無需使用自己的計算資源去提取特徵，這樣大大降低該競賽對硬體資源的門檻，吸引了更多全球頂尖優秀的學術機構團隊參與，加快提升人物識別技術不斷向前演進。此次拔得頭籌的北京郵電大學自動化學院團隊，在愛奇藝公佈的4個模態特徵的基礎上，重新訓練了對齊的人臉識別模型，利用資料增強和這5種模態資訊訓練完成多模態分類模型，在資料集難度提升的情況下，將多模態影片人物識別精準度由去年的88.65%提升到了91.14%，提升幅度達2.5pp，成為多模態影片人物識別競賽中的全球最佳演算法。
多模態人物識別技術精準度進一步提升意味著，愛奇藝可以透過對複雜場景下精準識別為使用者帶來更優的影片消費體驗，進一步提升娛樂系統的效率，例如，透過識別短影片、UGC內容中模糊、側面、距離遠等複雜場景中的人物，更好地為使用者精準推薦內容，加強愛奇藝個性化內容分發能力；在AI雷達中，透過對影片人物的精準識別，透過只看他的功能讓使用者享受到更為個性化的互動體驗；可以使HomeAI智慧語音互動平臺提升使用者的互動體驗；以及讓AIWorks影片智慧創作對長影片進行更精準的拆條，以及進一步提升愛奇藝愛創媒資系統製作爆款劇的效率等。
愛奇藝技術長兼基礎架構和智慧內容分發事業群總裁劉文峰表示，多模態人物識別競賽不斷取得突破，除了對愛奇藝娛樂生態產生重要價值之外，對人物識別技術的研發，技術成果轉化效率，相關人才培養都會產生深遠的影響。未來，愛奇藝將不斷與國內外學術機構、行業領先者合作，不斷提升前沿技術的探索與實踐。
