本文來自 曠視研究院 ，作者：閆東。 AI 科技評論 獲授權轉載。如需轉載，請聯絡曠視研究院。

目錄

• 導語

• 3D人臉基礎知識

• 初識3D人臉

• 相機模型

• 3D相機

• 3D人臉資料

• 3D人臉相關任務

• 常見Pipeline

• 3D人臉識別

• 3D人臉重建

• 總結

導語

隨著深度學習技術的推進，人臉相關任務研究也躍升為學界和業界的熱點。人們所熟知的人臉任務一般包括人臉檢測，人臉身份識別，人臉表情識別等，它們多是採用 2D RGB 人臉（一般包括一些紋理資訊）作為輸入；而 3D 掃描成像技術的出現與發展，使得人臉相關任務有了一條新的探索路線——3D 人臉。

相較於許許多多的 2D 人臉相關任務入門文獻/綜述文章，3D 人臉的入門知識卻乏善可陳。本文將梳理和介紹 3D 人臉相關基礎知識，同時總結一些 3D 人臉識別和重建的基礎入門文獻。

3D人臉基礎知識

初識3D人臉

• 2D/2.5D/3D 人臉

一般所講的 RGB、灰度、紅外人臉影象即為 2D 人臉，它們多為某一視角下表徵顏色或紋理的影象，沒有空間資訊。深度學習用於訓練的影象一般為 2D。

2.5D 是在某一個視角下拍攝得到的人臉深度資料，但由於角度問題，它所展示的曲面並不連續，即，當你嘗試旋轉人臉時，會有一些溝壑似的空洞區域。這是由於拍攝時，沒有捕捉到被遮擋部分的深度資料。

那麼 3D 人臉呢？它一般由多張不同角度的深度影象合成，完整展示人臉的曲面形狀，並且人臉以密集點雲的方式呈現在空間中，具有一定的深度資訊。

這裡有一個問題，經常談及的 RGB-D 屬於什麼維度的人臉呢（注意維度與紋理和顏色無關）？

相機模型

瞭解 3D 人臉相關任務之前，有一個基礎且非常重要的“知識點”，就是相機模型，不瞭解它，就無法入門 3D。關於相機模型，推薦參考《視覺SLAM十四講》（連結：https://github .com /gao xi ang12/slambook）或者《SlAM入門》（連結：https:// www .cnblogs .com /wangguchangqing/p/8126333.html）。本文先用最短時間讓大家初步瞭解相機模型。

相機模型包括 4 種座標系：畫素座標、影象座標、相機座標、世界座標（腦袋中有沒有閃現高中物理老師講參考系的畫面），相機成像過程即是真實三維空間中的三維點對映到成像平面（二維空間）的過程，也稱之為射影變換。

• 相機座標→影象座標

相機座標系到影象座標系的過程可用小孔成像解釋，本文藉助相似原理可清楚描述相機座標系中點  到像平面點 的過程，其中 f 為相機焦距。

相機小孔成像圖示（https:// www .cnblogs .com /wangguchangqing/p/8126333.html）

相機座標到影象座標的齊次表示

• 影象座標→畫素座標

一般使用畫素值表示 2D 影象，座標原點通常是影象的左上角，因此畫素座標和成像平面座標之間，相差了一個縮放和原點的平移。

通過用相機座標表示影象座標，可以得到畫素座標與相機座標的關係:

為保證齊次性（一般很多變換矩陣有這個特性），這裡稍作改寫：

其中

即經常說的相機內參矩陣（Camera Intrinsics），K 有 4 個未知數和相機的構造相關，f_x，f_y 和相機焦距、畫素大小有關，c_x，c_y 是平移的距離，和相機成像平面的大小有關。

• 世界座標→相機座標

其實，相機座標系並不是一個特別“穩定”的座標系，因為相機會隨著自身移動而改變座標的原點以及各個座標軸的方向，這時就需要一個更穩定的座標系來更好地表示射影變換，而我們通常採用的恆定不變的座標系為世界座標系。

相機座標系與世界座標系之間相差一個旋轉矩陣和平移向量（引自《視覺SLAM十四講》）

同樣為了保證齊次性，其改寫形式如下：

其中變換矩陣

即常說的相機外參（Camera Extrinsics）。

從世界座標系到畫素座標系相當於一個弱投影過程，總結一下就是從相機座標系變換到畫素座標系需要相機內參，從相機座標系變換到世界座標系下需要相機外參，寫成變換式如下：

3D相機

按照相機工作方式可將其分為單目相機（Monocular）、雙目相機（Stereo）和深度相機（RGB-D），而相機的本質也是通過二維形式反映三維世界。

單目相機即單個攝像頭的相機，由於其在同一時刻只能拍攝某一視角的影象，從而會丟失場景深度。比如，若已知某個像點 P 在成像平面上，由於不知道具體距離，則投影的畫素點可以在相機原點與 P 連線上的任意位置，所以出遊或者畢業時，可以拍出一張用手託人的錯位效果圖。

（引自《視覺SLAM十四講》）

那麼如何拍攝一張有深度資訊的照片呢？一種方法是通過雙目相機獲取深度。雙目相機顧名思義為“兩隻眼睛”，左眼相機和右眼相機的光圈中心 和 構成基線，空間中一點 P 會在分別投影在雙目相機像平面上的 和 ，這樣通過相似原理可以求解 P 到基線的距離即 P 點的深度（見下 方 公式）。在實際應用中，一般物體紋理豐富的地方比較容易計算視差，而且考慮到計算量，雙目深度估計一般採用 GPU 或 FPGA 進行計算。

（引自《視覺SLAM十四講》）

，其中

隨著技術不斷演進，深度相機的出現使我們可以更加便捷地獲取影象的深度。其中一種深度相機為基於結構光的 RGB-D 相機，以人臉為例，掃描器會對目標人臉發射光圖案（如光柵格），根據其形變計算曲面形狀，從而計算人臉的深度資訊。

（引自《視覺SLAM十四講》）

圖中還有一個 RGB 攝像頭，那麼如何實現深度與 RGB  一一 對應呢？測量深度之後，RGB-D 相機通常會按照生產時的各個相機擺放位置，完成深度與彩色影象素之間的配對，輸出 一一 對應的彩色圖和深度圖。我們可以在同一個影象位置，讀取到色彩資訊和距離資訊，計算畫素的 3D 相機座標，生成點雲（Point Cloud）。

深度相機中還有一種基於飛行時間原理（Time of Flight，ToF）,ToF 相機會向目標發射脈衝光，然後根據傳送到返回之間的光束飛行時間，確定物體離自身的距離。ToF 相機與鐳射感測器不同，可以在發射脈衝光的過程中獲取整個影象的畫素深度，而鐳射一般通過逐點掃描獲取深度資訊。

（引自《視覺SLAM十四講》）

總結一下，3D 人臉任務一般採用深度相機獲取人臉的深度資訊，深度相機一般包括雙目相機，基於紅外結構光原理的 RGB-D 相機（如 Kinect 1 代）或者基於基於光飛行時間原理的 ToF 相機（如 Kinect 2 代）。

3D 人臉資料

3D 人臉相關任務一般有 3 種表徵資料的方式：點雲，網格圖和深度圖。

• 點雲（Point cloud）

在三維點雲中，每一個點都對應一個三維座標  。許多三維掃描裝置使用這種資料格式儲存採集到的三維人臉資訊。有時，人臉的紋理屬性也可以拼接到形狀資訊上，這時點的表達就成了 ，其中 p，q 是稀疏座標。

點雲表示的缺點是每一個點的鄰域資訊不好獲取，因為點的儲存一般是無序的。一般情況下，點雲資料會用來擬合一個平滑的曲面，以減少噪聲的影響。

• 網格（Mesh）

三維網格使用在三維曲面上預計算好並索引的資訊進行表示，相比於點雲資料，它需要更多的記憶體和儲存空間，但是由於三維網格的靈活性，更適合用來做一些三維變換，例如仿射變換、旋轉和縮放。每一個三維網格資料，由以下元素構成：點、線、三角面。二維紋理的座標資訊也可以儲存在點資訊中，有利於重建更精確的三維模型。

• 深度（Depth/Range）

深度影象也稱之為 2.5D 或者 Range 影象。三維人臉的 z 軸數值被投影至二維平面，效果類似一個平滑的三維曲面。由於這是一種二維表示方式，所以很多現存的二維影象的處理方法可以直接應用。這種資料可以直接以灰度圖的方式展示出來，也可以使用三角剖分原則轉換成三維網格。

做 3D 人臉首先必不可少的就是 3D 資料，然而現狀卻是公開資料少，遠少於 2D 人臉圖片，3D 高精度人臉只能靠昂貴的裝置採集，過程繁瑣，本文梳理了現有公開常用的 3D 或 2.5D 人臉資料集，關於資料庫和 3D 人臉任務的介紹推薦參考《三維人臉研究》（連結：http://blog.csdn.net/alec 198 7/article/details/7469501）。

3D人臉相關任務

常用Pipeline

2D 人臉相關任務的 Pipeline 一般分為資料預處理、特徵提取、特徵分析等過程，那麼 3D 人臉的 Pipeline 呢？這裡本文引用《3D Face Analysis: Advances and Perspectives》（連結：https://link.springer .com /chapter/10.1007/978-3-319-12484-1_1）中的圖片進行講解。

一個通用的 3D/2.5D 人臉分析框架如上圖所示。我們通過裝置獲取人臉的 3D/2.5D 表示（Mesh、Point Cloud、Depth），經過一些預處理操作如球形剪裁，噪點去除，深度缺失修復，點雲配準等進一步獲取可用的 3D/2.5D 人臉。

接下來對預處理後的人臉進行表徵，表徵的方式有很多，比如採用表面法向，曲率，UV-Map 或常用的 CNN 方法；在提取一個特徵之後就可以進行各種人臉任務，比如識別、表情分析、性別分類、年齡分類等。

鑑於本文的目的是梳理 3D 人臉入門相關知識，這裡先為大家簡單介紹一下關於 3D 人臉重建和識別的相關工作，包括髮展過程和一些比較容易上手的論文。

3D人臉識別

3D 人臉識別的前幾十年，都是採用手工設計的特徵和分類或度量方法，進行人臉驗證和識別。近幾年，隨著深度學習方法的興起，逐漸有一些工作採用資料為驅動，進行 3D 人臉識別模型的訓練，本文簡單總結了一下 3D 人臉識別方法，如下：

1、傳統識別方法

• 基於點雲資料的3D人臉識別

這類方法通常不考慮三維空間中的人臉特徵，直接採用三維點雲進行匹配。常見方法有 ICP (Iterative Closest Point，連結：https://en.wikipedia.org/wiki/Iterative_closest_point) 和 Hausdorff 距離（連結：https://en.wikipedia.org/wiki/Hausdorff_distance）。

ICP 作為一種剛性匹配演算法，可以修正三維點雲本身存在的平移和旋轉變換，但是對於由表情和遮擋引起的曲面凹凸變化不夠魯棒，並且時間開銷比較大。

ICP 使用人臉表面取樣的法向量進行匹配，由於法向資訊具有更好的判別性，在這裡簡單介紹一下 ICP 的演算法，ICP 為一種迭代最近點的方法，可實現兩堆點雲的配準，這類比於 2D 人臉的關鍵點對齊。

假設有兩組點雲：

,通過迭代的方法找到一組

和

，滿足

，即求解

。具體的求解過程大家可以參考《視覺slam十四講》第七章（連結：https://github .com /gao xi ang12/slambook）。

Hausdorff 距離通過計算兩張人臉的三維點雲之間的最近點對之間的最大值，去評估空間中不同真子集之間的距離。但是，該演算法依然存在對錶情和遮擋不魯棒的問題，改進的 Hausdorff 距離演算法使用三維人臉的輪廓線來篩選資料庫中的物件。

模板人臉的方法利用三維人臉上的種子點進行形變，擬合到待測試人臉上，利用擬合引數進行人臉識別，並可通過密集的三維人臉點雲對齊方法生成特定的可形變人臉模型。

• 基於面部特徵的3D人臉識別

基於面部特徵的3D人臉識別可以分為區域性特徵和全域性特徵兩個方面來講，具體也可參考《3D Face Analysis: Advances and Perspectives》（連結：https://link.springer .com /chapter/10.1007/978-3-319-12484-1_1）、《3D face recognition: a survey》（連結：https:// www .researchgate.net/publication/329202680_3D_face_recognition_a_survey）。

區域性特徵有兩個方面，一是基於面部區域部件資訊的特徵，例如鼻子、眼睛、嘴巴區域，這類特徵可大致分為，基於面部關鍵點、曲率、塊的特徵提取方法；二是基於區域性描述子演算法提取的特徵，比如在深度影象上提取 小波 特徵、SIFT、2D-LBP、MRF、LSP，也有在三維資料上進行特徵提取的運算元，比如 3D-LBP。全域性特徵即對整張人臉進行變換並提取特徵，人臉資料可能以不同的方式儲存，比如點雲、影象、Mesh 型別的三維人臉資料，比如將三維人臉模型表徵為球面諧波特徵（SHF)，或者將三維人臉曲面同胚對映到二維網格中，用以稀疏表示，使用稀疏係數作為特徵。

2、深度學習識別方法

CNN 在 2D 的人臉識別上取得了比較大的進展，然而 2D 人臉容易受到妝容、姿態、光照和表情等影響，3D 人臉本身包含人臉的空間形狀資訊，受外界因素影響較小。相較於 2D 人臉，3D 人臉資料攜帶的資訊量更多。但由於 3D 人臉資料獲取比較難且有些人臉資料精度不夠，導致 3D 人臉識別的發展並不是很火熱。

• 基於深度圖的人臉識別

深度圖的人臉識別常用方法包括提取 LBP 等特徵，多幀深度圖融合，深度圖歸一化等，這裡簡單介紹兩篇深度圖相關的人臉識別論文。

《Robust Face Recognition with Deeply Normalized Depth Images 》

該論文算是一個比較常見的深度圖人臉識別 Pipeline，分為兩個網路：歸一化網路和特徵提取網路。歸一化網路負責將輸入的深度圖轉為 HHA影象（連結：https://blog.csdn.net/WillWinston/article/details/78723507），並通過一個 CNN 網路迴歸 3DMM 的引數（下文 3D 重建會提到），在重構了 3D 點雲後即可投影成歸一化的深度圖；特徵提取網路和普通的 2D 人臉識別網路基本類似，得到一個表徵深度圖人臉的特徵向量。

《Led3D: A Lightweight and Efficient Deep Approach to Recognizing Low-quality 3D Faces 》

該論文為 CVPR 2019 一篇低質量深度圖人臉識別文章，文中一些針對深度圖人臉的預處理以及資料增強操作值得參考。本文采用球形剪裁後的深度人臉的法向作為網路輸入，實驗表明可以更好地表徵深度人臉，同時，作者也精心設計了輕量級的識別網路（主要為多層特徵融合以及注意力機制），可以參考。

• 基於RGB-D的人臉識別

基於 RGB-D 的人臉識別基本上以 2D 人臉識別方法為主，將與 RGB 對齊的深度圖作為一個通道送入 CNN 網路，RGB-D 一個優勢是增加了人臉的空間形狀資訊。針對 RGB-D 影象的人臉識別論文還有很多，但基本思想是在特徵層融合或是在畫素層融合。

《Accurate and robust face recognition from RGB-D images with a deep learning approach 》

該論文 2016 年提出一種基於深度學習的 RGB-D 影象人臉識別演算法，論文通過 RGB 影象和多幀融合後的深度影象分別進行預訓練與遷移學習，並在特徵層進行融合，從而提升識別率。

• 基於 Depth/RGB-3DMM 的人臉識別

最近兩年開始出現採用 3DMM 對深度圖或 RGB 圖進行人臉模型迴歸，並應用於識別任務的工作。這類工作的一般思想是通過迴歸 3DMM 的引數（expression、pose、shape），實現 3D 人臉資料的擴增，並應用於 CNN 的訓練，比較有代表性的工作如 FR3DNet（連結：https://ar xi v.org/abs/ 171 1.05942），3D Face Identification（連結：https://ar xi v.org/abs/ 1703 .10714）。

《Deep 3D Face Identification》

該論文算是第一批把深度神經網路應用於 3D 人臉識別任務的方法，主要思想為通過 3DMM+BFM 擬合深度圖成為帶表情的 3D 人臉模型，從而實現深度資料擴增，同時也做了如隨機遮擋和姿態變換等資料增強，最終送入一個 2D 人臉識別網路進行 Finetune。

《Learning from Millions of 3D Scans for Large-scale 3D Face Recognition》

該論文是 3D 人臉識別的一篇名作，真正實現了創造百萬級別的 3D 人臉資料並提出一個 3D 人臉識別網路 FR3DNet，最終在現有公開資料集上進行測試，效果很好（資料驅動的方式，基本為刷滿的狀態）。該論文創造新 ID 的方式是在作者的私有資料集中找到兩個彎曲能量差異最大的 3D 人臉，通過加和得到一個新的 3D 人臉（詳情請參考原文）；同時提出了在人臉 3D 點雲的識別網路中，採用大卷積核有利於更好地感受點雲的形狀資訊。

還有眾多基於資料驅動的 3D 人臉識別如 3DMMCNN（連結：https://ar xi v.org/abs/1612.04904），總結起來基於深度學習的 3D 人臉識別方法受限於資料不足，且現有資料精度不夠，研究者的首要任務都是先做大量的資料增強或者生成大量的虛擬 3D 人臉，不過這些方法是否真的具有很強的泛化效能還值得商榷，也許屬於 3D 人臉識別的時代還沒到來。

3D人臉重建

3D 人臉研究中另一個比較受 關注 的方向是 3D 人臉重建，即通過一張或多張 RGB 的人臉影象重建出人臉的 3D 模型，它的應用場景很多，比如 Face Animation，dense Face Alignment，Face Attribute Manipulation 等。其實 RGB 到 3D 的人臉重建是一個病態問題，因為 RGB 影象其實表徵的是紋理特徵而並沒有空間資訊，但考慮到實際的應用價值，這些年也陸續提出一些 3D 重建方法。

本文將介紹幾種比較流行的人臉 3D 重建方法，供入門的小夥伴們參考，更多關於 3D 人臉重建總結推薦參考《3D人臉重建總結》（連結：https://blog.csdn.net/u011681952/article/details/82623328），這裡先給出一個 3D 人臉重建的例項（取自PRNet）。

基於傳統方法的人臉重建

傳統 3D 人臉重建方法一般通過影象本身表達的資訊完成 3D 人臉重建，如影象的視差、相對高度等，比較常見的如通過雙目視覺實現 3D 重建，難點在於如何匹配不同視角下對應的特徵點,關於這類文章大家可參考《A Survey of Different 3D Face Reconstruction Methods》（連結：https://pdfs.semanticscholar.org/d4b8/8be6ce771 64 f5eea1ed2b16b985c0670463a.pdf）。

基於模型的人臉重建

3D 人臉重建中有兩個比較常用的模型，其中一個為通用模型 CANDIDE，另一個為 3DMM。

眾多通用模型中，CANDIDE-3 可謂名氣最大，由 113 個頂點和 168 個面組成。簡單來講，通過修改這些頂點和麵，使得其特徵與待重建的影象相匹配。通過整體調整，使五官等面部關鍵點儘量對齊；通過區域性性調整，使人臉的區域性細節更加精細，在這之後進行頂點插值，即可以獲得重建後的人臉。

該模型的優缺點顯而易見，模板的頂點數量過少，重建速度快，但重建的精度嚴重不足，面部細節特徵重建欠佳。

入門 3D 人臉一定會接觸的演算法是 3D Morphable Model (3DMM)，這是  199 9 年由 Volker Blanz 在《A Morphable Model For The Synthesis Of 3D Faces》一文中提出的一種人臉模型的線性表示，可以將一張 2D 的人臉圖片生成其對應的 3D 人臉模型，表示方法為：

其中

和

那麼如何從二維重建三維呢？首先要了解三維模型是如何投影到二維平面的，上文最開始講的相機模型，把三維模型投影到二維平面可以表示為：

利用一個人臉資料庫構造一個平均人臉形變模型，在給出新的人臉影象後，將人臉影象與模型進行匹配結合，修改模型相應的引數，將模型進行形變，直到模型與人臉影象的差異減到最小，這時對紋理進行優化調整，即可完成人臉建模。

一般 2D 到 3D 重建過程所採用的監督方式為 2D 人臉關鍵點與 3D 頂點對應的正交投影上的關鍵點。

基於 CNN 端到端的人臉重建

有了 3DMM 模型，即可進行單張 2D 人臉的 3D 重構，但一個現實問題是，傳統 3DMM 重建是迭代擬合的過程，該過程效率比較低，因此並不適用於實時的三維人臉重建。分析 3DMM 原理可知，需要調整的就是 3DMM 的  199  維引數（這個不同的基不一樣哦），為什麼不用CNN 迴歸基的引數呢？這樣我們可以通過網路去預測引數，實現 3DMM 的快速重建。

但是有一個問題，我們如何獲得訓練資料？為此，大多數論文選擇利用 3DMM 線下擬合大量人臉圖片作為 ground-truth，然後送入神經網路去訓練。雖然是個病態問題，但效果還不錯。本文將介紹幾篇通俗易懂的基於 CNN 端到端的 3D 人臉重建方法。

《Disentangling Features in 3D Face Shapes for Joint Face Reconstruction and Recognition 》

該論文通過 CNN 迴歸 Identity Shape 和 Residual Shape 引數，表示式和 3DMM 類似，不同之處在於除了普通的 reconstruction loss（一般為 element-wise L2 loss），還增加了一個 Identification loss，以保證重建的人臉 ID 特徵不變。

《End-to-end 3D face reconstruction with deep neural networks》

該論文的思想也是迴歸 3DMM 引數，作者認為高層的語義特徵可以表示 ID 資訊，而中間層的特徵可以表示表情特徵，因此可從不同的層級迴歸相應的引數，從而實現 3D 人臉重建任務。

《Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network 》

另一種比較常見的端到端 3D 人臉重建方法為 Position Regression Network（PRN），強推！（附開原始碼 PRN：https://github .com /YadiraF/PRNet）。

該論文提出一種端到端 Position Regression Network，以完成 3D 人臉重建和稠密人臉對齊。

作者引入 UV Position Map，可以實現通過 2D 影象來儲存人臉 3D 點雲座標，假設一個包含 65536 個點的 3D 點雲，通過 UV Position Map 可以表示成一個 256*2563 的 2D 影象，每一個畫素點儲存的是點雲的空間座標，因此可以通過一個 encoder-decoder 網路迴歸原始影象的 UV Position Map，實現 3D 人臉重建。

作者通過設計一個不同區域不同權重的 Loss Function，最終實現了較高精度的人臉重建和稠密關鍵點對齊。

《3D Dense Face Alignment via Graph Convolution Networks》

通過上述迴歸 UV Position Map 的方式有一個問題，最終 UV 影象對映到 3D 人臉 mesh 的影象時，會出現一些條紋。在最近的一些 3D 人臉重建工作中，還有一種通過多級迴歸 3D 人臉 mesh 的方法取得了不錯的重建效果。

該論文作者通過逐級增加回歸的 mesh 頂點，從而在多個監督的任務下完成最終 mesh 的迴歸，同時採用圖卷積的形式可以更加本質地進行點與點之間的構圖關係，最終取得了不錯的重建效果。

3D 人臉重建是近年的一個熱門話題，每年各種會議也有許許多多的文章提出各種各樣的 3D 人臉重建方案，但從入門角度考慮，掌握上述幾種常見方法會對之後的研究會打下不錯的基礎。

總結

本文介紹了 3D 人臉技術的入門知識，包括 3D 基礎知識如相機模型、3D 相機工作原理、3D 人臉資料處理等，同時也總結了 3D 人臉識別/重建的相關方法，希望拋磚引玉，並對入門 3D 人臉起到幫助。由於時間原因，有些總結可能並不完善，懇請大家及時斧正。

https://www.toutiao.com/i6722041131011408392/

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/29829936/viewspace-2653608/，如需轉載，請註明出處，否則將追究法律責任。