內容一覽：在春節檔科幻電影「流浪地球 2」中，主演吳京、劉德華、沙溢等人飾演的角色，跨越 14 年之久，視效團隊正是藉助 Deepfake de-aging 技術，呈現出了演員不同年齡段的容貌。
關鍵詞：De-aging Deepfake 流浪地球
「流浪地球 2」上映 8 天，總票房就已經突破了 24 億，打破 36 項紀錄，獲得 91 項里程碑成就。其中，21 歲小鮮肉劉培強（吳京飾），以及年輕帥氣圖恆宇（劉德華飾），給觀眾留下了深刻的印象。
流浪地球官方微博釋出的一段影片中，講述了換臉特效背後繁複的工程難度。
吳京：不要被我年輕俊美的容顏嚇壞哦影片
來源：@電影流浪地球官方微博
在知乎提問「《流浪地球 2》幕後有哪些不為人知的製作難題」中，《流浪地球 2》視效總監、MOREVFX 創始人徐建，坦言技術上第一難點就是「De-aging」數字換齡。
數字換齡，45+ 吳京變身 21 歲小鮮肉
de-aging 是一種應用於影視作品的視覺特效技術，是指利用數字編輯 (digitally editing) 或計算機繪圖 (computer graphics，簡稱 CG) 技術，實現演員在特定場景下的年輕化。
在電影「流浪地球 2」中，演員吳京、劉德華、王智等多人飾演的角色，都涉及到了角色年輕化，即 de-aging。
用吳京年輕時的 2D 素材訓練 AI 模型進行 de-aging，為實拍素材完成換臉
一個小番外：根據電影劇情推算，劉培強出生年份正是 2023 年。
以吳京為例，現實中吳京在拍攝這部電影時，年齡 45+（根據百度百科資料推算），但是電影中 2044 年時的劉培強只有 21 歲，45+ 的演員挑戰飾演 21 歲的「小鮮肉」，著實需要點技術加持。
3 大主流 de-aging 方法梳理
實際上，當時全世界主流的 de-aging 方法共分為 3 類。
該方法分為兩個主要步驟：
- 製作數字人並進行 de-aging
透過演員佩戴的表情捕捉裝置，掃描演員並生成資料庫，製作目標演員的數字人，然後根據演員早期職業生涯劇照及影片素材，對數字人進行 de-aging。
- 基於演員佩戴的動作捕捉裝置，對數字人進行動畫製作
根據「流浪地球 2」視效總監徐建在知乎的分享，此方法預算高、國內相關人才不足，且身上的裝置可能會影響打鬥場景拍攝及演員表演情緒的傳達。
威爾史密斯佩戴裝置進行動作及表情捕捉
在電影「愛爾蘭人」中，工業光魔開發了一種無需佩戴物理裝置或在面部做標記的 de-aging 技術，演員被三臺攝像機裝置環繞拍攝，一臺為正常拍攝機位，另外兩臺負責記錄 de-aging 需要的資料，透過拍攝紅外鏡頭收集必要資料，以數字方式再現表演。
攝像機記錄的資料結合光線影響對角色進行 de-aging
在電影「美國隊長 3：內戰」中，視效團隊利用小羅伯特唐尼早期的影視作品、視覺素材，訓練基於 Deepfake 演算法的 AI 模型並完成換臉。
Deepfake 年輕版鋼鐵俠 Tony Stark
據「流浪地球 2」視效總監徐建介紹，早在電影開拍一年半之前，視效團隊就開始了技術實驗，測試了 5、6 種換臉方法後，視效團隊最終決定採用 de-aging 方法三，基於 Deepfake 演算法用演員年輕時的 2D 素材訓練 AI 模型，最終迭代 500 多萬次後，替換實拍素材。
人臉年輕化及增齡的論文梳理
《Production-Ready Face Re-Aging for Visual Effects》
DisneyResearch 團隊提出了一個 Face Re-Aging Network，簡稱 FRAN，可以在不丟失身份的前提下，自動重塑影片中的人臉影像，實現目標人臉年輕化或增齡效果。
輸入人像年齡 35 歲，上下排分別為 re-aging 為 65 歲和 18 歲
《High Resolution Face Age Editing》
本篇論文提出了一個用於面部年齡編輯的 encoder-decoder 架構，使用一種簡單的方法實現了高解析度人臉年齡編輯，可以輸出 1024*1024 解析度的影像。
依據輸入人臉（黃色框），輸出不同年齡段的高質量人臉影像
《Only a Matter of Style: Age Transformation Using a Style-Based Regression Model》
本篇論文提出了一種影像到影像的轉換方法，直接將真實的面部影像編碼到預先訓練好的無條件 GAN 的 latent space 中，進行老化轉變。可以僅憑試驗者的一張照片就生成全年齡階段的容貌，精確到每一條皺紋。
使用論文提出的 SAM 架構生成的老化結果
畫素級換臉技術任重道遠，仍需行業規範
「流浪地球 2」中，年輕劉培強和圖恆宇的呈現，雖然是基於 Deepfake 演算法實現，然而透過考察眾多相關論文，結合視效總監徐建的介紹，我們得知在電影製作的後期，仍需專業後期人員對換臉後的角色進行繁複的完善和修復。
這是因為換臉技術在一些細節處理上仍存在不足，如表情生硬、眼神表情不自然，這些「不協調」在電影大熒幕上無疑會被放大，給觀眾帶來不適。
減齡及增齡演算法的發展，要實現與影視作品中的角色「完美適配」，恐怕還有很長的路要走，而如何監控 Deepfake 這項技術不被濫用，也是工業界、科技界乃至普通使用者不得不面臨的一個潛在風險和挑戰。非常激動能看到國產科幻電影有如此恢宏壯觀的場景設計和視覺特效，期待小破球 3！
參考連結：[1] https://www.zhihu.com/questio...[2] https://onlinelibrary.wiley.c...[3] https://www.respeecher.com/bl...