對抗人臉識別的一個新方法：隱藏身份、隨機換臉

人臉識別技術已經進入了大規模應用，個人資料的隱私問題也得到越來越多關注，針對隱私保護、躲避和攻擊人臉識別系統的研究也陸續出現。

這其中，有篡改輸入人臉識別系統的影像，讓它無法識別圖中存在人臉的，比如多倫多大學的《Adversarial Attacks on Face Detectors using Neural Net based Constrained Optimization》。

也有 CMU 設計的特殊眼鏡，佩戴以後，即便經過監控裝置的採集，仍然無法識別到影像中存在人臉，或者會被識別為另一個人；而且這種裝飾方法算不上誇張，不那麼容易引起別人懷疑。（論文《Accessorize to a Crime: Real and Stealthy Attacks on State-of-the-Art Face Recognition》）

隱藏身份的「換臉」

近日又出現了一篇新的論文，來自挪威科技大學的《DeepPrivacy: A Generative Adversarial Network for Face Anonymization》（ ），從新的、更有挑戰的角度欺騙人臉識別系統：在不改變原來的資料分佈的前提下把人臉匿名化，更通俗地說就是模型的輸出還是一張逼真的人臉，姿態和背景也和原圖相同，但完全無法識別出原來的人臉身份，也就是「換了一張臉」。

作者們提出的模型 DeepPrivacy 是一個條件生成式對抗網路（conditional GAN），生成器能夠以原有的背景以及稀疏的動作標註生成逼真的匿名（其它身份的）人臉。生成器的架構是一個 U-net，用逐步擴大影像尺寸的方式最終生成 128x128 尺寸的影像。

為了避免向這個模型洩露個人資訊，按照作者們的設計，這個模型的輸入就直接是經過隨機噪聲遮擋的人臉，模型完全觀察不到任何原有面部資訊。不過，為了保證生成的質量以及動作的一致性，作者們仍然需要兩組簡單的影像標註結果：圈出了面部位置的邊界框，以及（與 Mask R-CNN 中相同的）標出了耳朵、眼睛、鼻子、肩膀一共 7 個關鍵點的稀疏姿態估計值。

根據作者們的測試，經過他們的模型匿名化的人臉仍然保持了接近於原圖的人臉可識別性，普通的人臉識別模型對於匿名化後的影像，識別出人臉的平均準確率只相對下降了 0.7%。而人臉含有的身份資訊自然是 100% 不重合的。

不同人臉匿名方式的對比，從左到右依次為：原圖，DeepPrivacy 模型的遮擋後的輸入，馬賽克，高斯模糊，DeepPrivacy 模型輸出

在論文中作者們也做了一項帶有一定前瞻性的工作，那就是整理釋出了一個新的多姿態人臉資料集 Flickr Diverse Faces。資料集共含有 147 萬張人臉，並按照他們的這個模型輸入所需，標出了含有面部位置的邊界框以及 7 個關鍵點。這個資料集的獨特之處在於它的多樣性，它涵蓋了許多不同的面部姿態、部分遮擋、複雜背景、以及不同的人。

Flickr Diverse Faces 資料集中一些人臉樣本

相關研究比較

另一些人臉匿名化結果 —— 左圖大家本來可能熟悉，現在就難認出來了

這篇論文的模型中的生成器設計參考了《Progressive Growing of GANs for Improved Quality, Stability, and Variation》（ ）論文，從低解析度的影像開始，逐級地提高解析度、增加細節，最終可以同時兼顧影像中的內容高度協調、高穩定性、高多樣性。這種方法是 GANs 首次可以生成 1024x1024 尺寸的高畫質影像。作者們還一併討論了一些改進 GANs 訓練過程的技巧。

可能有人已經想到了，DeepPrivacy 所做的「生成匿名逼真人臉」的任務，其實就和影像補全（Image Inpainting）高度相似，都是讓模型為影像中的指定區域填充全新的內容。不過影像補全任務中要補全的內容就不僅僅是人臉了，包含了各種日常物體和場景。也有影像補全的研究人員嘗試過補全人臉的效果，他們在高畫質晰度、資料豐富、姿態單一的 Celeb-A 資料集上進行嘗試，結果模型並不能生成逼真的、身份不同且隨機的人臉。

另外，雷鋒網 AI 科技評論認為值得一提的是來自英偉達的《A Style-Based Generator Architecture for Generative Adversarial Networks》（ ），它是 CVPR 2019 的 最佳論文之一，也是目前為止生成高畫質晰度、高多樣性的人臉效果最好的方法。毋庸置疑，這種方法生成的人臉比 DeepPrivacy 更逼真，而且也同樣可以生成隨機的新身份，不過就沒辦法控制同樣的姿態和背景了。

一些討論

作者們認為大企業可能能夠透過這種方法躲避歐盟《通用資料保護條例》（GDPR）的約束。GDPR 中要求，使用個人的隱私資料的時候必須定期徵得當事人的同意；但是當無法根據資料識別定位某個個人的時候，企業無需同意就可以使用這些資料。這種人臉匿名化方法就可以成為「無法識別個人，從而繞過 GDPR 限制」的幫手。

不過，在高度遮擋、不常見的角度、複雜的背景中，模型還是會出現一些錯誤的生成結果的（扭曲的人臉看起來有一些可怕）。作者們也透過對照試驗說明了更大的模型大小、7 個動作關鍵點的標註都有助於生成更高質量的影像。

在 Reddit 以及 Twitter 的討論上，有人提出，僅僅更改面部是不足以完全隱藏身份的，有的人（比如奧巴馬）僅憑髮際線就有機會認得出來，再加上穿著、場景、身邊的人的話，知名人物能夠被認出來的可能性大大增加；也有人提出，變成隨機的身份，還不如都用 DeepFake 把所有的臉都換成同一張生成的虛擬人臉，同樣可以達到無法透過面部識別確定身份的效果。（另外網友們還吐槽了為什麼要起 DeepPrivacy 這麼一個爛大街的名字）

論文地址：

開源專案地址：