其實,Face ID只是iPhone X TrueDepth相機的冰山一角

邱陸陸發表於2017-12-25

11 月 3 日,蘋果的粉絲們正在排隊購買最新發布的 iPhone X: 蘋果公司認為這款旗艦智慧手機更新的程度足以跳過數字 9。安息吧,iPhone 9。

iPhone X 新增了硬體設施,包括在其飽受詬病的「劉海」中安裝了一個前置感測器模組,這個「劉海」在 iPhone X 的全面屏上留下了難看但卻十分必要的「缺口」,前置感測器使得 iPhone X 得以進行感知並繪製深度資訊—包括面部識別特徵。

所以當你看著 iPhone X 時,它可以正確識別你的面部並採取相應的行為,比如,當只有你在看的時候在鎖定螢幕上顯示全部的通知內容,如果旁邊有別人則僅顯示一般的通知。所以,歡迎來到分情景運算時代,以及,準備好迎接共享裝置時額外的不便吧。

Face ID 已經讓人很興奮了,但是從 Touch ID 的指紋識別轉換到面部生物識別確實引發了人們關於隱私的擔憂—人臉是一個富含表情的媒介,不可避免地,面部會在人們沒有意識到的情況下傳達大量資訊。

不可否認的是,面部密碼比字串密碼傳達了許多額外資訊。因此當 iPhone X 到達第一批買家手裡之後,我們值得花時間仔細研究一下這個新蘋果能做什麼(以及不能做什麼)。

Face ID

iPhone X 前置面部感測器模組的核心功能模組—蘋果叫它 TrueDepth 攝像機系統—支援了一個基於面部生物特徵的認證機制。蘋果公司為它起名為 Face ID。

要使用 Face ID,iPhone X 的使用者需要在 TrueDepth 攝像機前來回移動面部註冊生物識別特徵。(注意:Face ID 的完整註冊過程需要兩次面部掃描,所以耗費的時間比下圖的 GIF 要稍微長一點。)

面部生物識別系統替代了仍舊在其他版本的 iPhone 中使用的(包括最新發布的 iPhone 8/ iPhone 8 Plus)Touch ID 指紋生物識別系統。

其實,Face ID只是iPhone X TrueDepth相機的冰山一角

每臺 iPhone X 的 Face ID 僅能註冊一張人臉——而 Touch ID 卻能允許多個不同的指紋。所以現在,即使你能分享你的密碼,分享一臺裝置也變得不那麼容易了。

我們之前已經詳細介紹了,蘋果公司無法訪問使用者在 Face ID 中註冊用以登陸的有深度資訊的面部模型。iPhone X 的使用者面部的一個數學模型被加密並儲存在本地的 Secure Enclave 上。

Face ID 隨著時間的推移也會自主學習,一天天的使用後(也就是成功解鎖手機),如果系統認為使用者臉部一些額外的數學表達對「擴充面部匹配」有用,這些表達也會被建立並儲存在 Secure Enclave 上,正如蘋果公司的白皮書上關於 Face ID 介紹的那樣。這也是為什麼你帶上眼鏡、長出鬍鬚、改變髮型之後 Face ID 仍然能夠適應你的面部的原因。

關鍵在於 Face ID 的資料只會儲存於使用者的手機中(或者在 Secure Enclave 中)。任何想要利用 Face ID 認證系統的 iOS 應用開發人員都無權訪問這些資料。認證過程會透過一個專用的認證 API 發生,程式呼叫該 API,API 在將儲存在 Secure Enclave 的 Face ID 資料與輸入訊號對比之後僅僅返回是或者不是的結果。

議員 Al Franken 寫信給蘋果公司,要求他們對這些問題給出保證。蘋果公司的回信確認了其通常情況下不會保留裝置每天解鎖的面部影像——除了之前提到的為數不多的幾個 Face ID 擴充情況之外。

「日常解鎖操作中捕獲的面部影像不會被儲存,在計算出用來和原有 Face ID 資料對比的數學表達後,影像就會被刪除,」蘋果告訴 Franken。

蘋果公司的白皮書進一步揭示了 Face ID 的運作方式—比如,其中特別提到,當有人試圖解鎖 iPhone X 時,TrueDepth 攝像機的點投影模組「會投影並讀取超過 30,000 個紅外線點來塑造面部的深度影像」,(系統會追蹤注視的目光,這也意味著使用者需要積極注視手機螢幕啟用 Face ID),並獲取 2D 的紅外影像(透過模組的紅外線攝像機)。這保證 Face ID 在黑暗中照常運轉。

「這個資料被用於建立 2D 影像和深度圖序列,該序列在電子簽名後,會被髮送至 Secure Enclave,」白皮書上說道。「為了應對數字和物理的雙重欺騙,True Depth 攝像機將 2D 影像和深度圖捕獲的序列隨機化,對映到一個裝置特定的隨機模式。A11 仿生處理器的神經引擎的一部分——保護在 Secure Enclave 上——將資料轉化為數學表達並與註冊的面部資料的表達進行對比。這個註冊的面部資料是一系列的動作之後捕獲到臉部的資料表達。」

所以只要你對蘋果公司的安全和工程質量有信心,Face ID 的架構可以讓你安心——那個用以解鎖你的裝置、在各種應用裡驗證你的身份的核心加密面部模型,永遠不會在任何地方共享。

但 Face ID 實際上只是 iPhone X 的 TrueDepth 相機模組技術的冰山一角。

透過 ARkit 進行面部追蹤

蘋果公司打算允許開發者使用手機的深度感知模組追蹤使用者面部表達,從而為 iPhone X 使用者提供一些炫酷的客戶體驗,尤其是基於面部跟蹤的擴增實境。擴增實境是蘋果公司新的重點關注領域—在今年夏天的 WWDC 活動中,蘋果為開發者搭建擴增實境應用提供了 ARKit 支援框架。

ARKit 不侷限於 iPhone X,透過前置攝像頭進行面部追蹤的 ARKit 也是如此。這也是蘋果新一代旗艦手機的一大功能。

「ARKit 和 iPhone X 在擴增實境應用中實現了穩健的面部追蹤這一革命性功能。看看你的應用是如何檢測使用者臉部的位置、拓撲結構和表達的吧,這些應用都實現了高準確性的實時檢測,」蘋果公司在其開發者頁面中如是寫道,並繼續說明一些 API 的潛在使用方法—比如應用「實時自拍特效」或是使用使用者的面部表達來「驅動 3D 角色」。

使用者在此處展示的是蘋果的新型動畫表情 animoji。也就是當蘋果宣佈推出 iPhone X 時在舞臺上演示的動畫表情特徵(animated emoji characters),允許使用者虛擬佩戴上表情特徵,就好像戴上了面具一樣,同時這種表情特徵也會記錄使用者所說的話(或者是面部的表情)。

所以 iPhone X 使用者可以自動「戴上」外星人、豬、狐狸甚至是 3D 便便的表情。但是,這只是一個開始。藉助 iPhone X,開發人員可以訪問 ARKit 進行面部追蹤,增大自己的面部增強體驗—比如 Snap 應用中已經展示的面部面具。

「這項新的功能可以在 6 個自由度上實現穩定的面部識別和位置追蹤。面部表達也可以實時追蹤,應用提供了一個合適的三角形網格和加權引數,能夠表達受檢測面部中超過 50 個特定的肌肉運動。」蘋果公司寫道。

值得強調的是,使用此 API 的開發人員無法訪問 TrueDepth 相機系統可以捕獲的資料點。這不是重新建立被鎖定在 Secure Enclave 的 Face ID 模型——那個蘋果大力宣傳其準確性,失敗率僅有 1/100,0000 的模型。

但顯然,開發人員獲得了一些非常詳細的臉部圖,足以讓他們構建功能強大的使用者應用體驗 -- 比如 Snap 花哨的面具,它們確實看起來像面彩一樣附著在人們的皮膚上。對於應用來說,讀取人面部表情試圖表達的資訊—比如其感受或是喜好,這就足夠了。

其實,Face ID只是iPhone X TrueDepth相機的冰山一角


(iPhone X 上的另一個 API 透過 TrueDepth 相機實現擴增實境捕捉——蘋果表示,「會返回一個體現了 TrueDepth 相機全部功能的圖樣」,這這表明該 API 會返回照片 + 影片 + 深度資料(當然沒有蘋果在 Face ID 裡使用的那麼詳細)- 可能旨在支援額外的視覺特效,比如照片應用的背景模糊。)

現在我們來看看蘋果公司正在做的事情。沒錯,它保護了使用 iPhone X 的深度感知硬體生成的臉部數學模型並且——透過 Face ID——成為解鎖手機和進行身份驗證的關鍵。

但它同樣也在普及臉部對映和麵部追蹤等技術,支援其他應用,比如有趣的動畫表情和自拍鏡頭,使用這一功能完成不同目的。甚至,是協助人們模擬試穿試戴小飾品(參見 Warby Parker 的例子)亦或是透過面部表情驅動的訪問介面。(我們交談過的一個 iOS 開發者 James Thomson—計算機應用 PCalc 的製造者—表示他很好奇「是否可以將面部追蹤作為輔助工具,為不能自如控制動作的人群提供替代的控制方法」)

然而,會有一些公司和開發人員想要實時跟蹤面部表情用來:投放對於觀看者表情極為敏感的定向廣告,然後從營銷目的出發,進行更細化的使用者分析。這又是一個技術進步引起的個人隱私侵害。

很明顯,蘋果已經意識到該問題存在的潛在風險。App Store 中的審查條款規定,開發者必須在獲得使用者同意的前提下才能收集「深度的面部對映資訊」,並明確禁止開發者將透過 TrueDepth 攝像系統收集到的使用者資料用於廣告或營銷。

蘋果公司在 App Store 評論指南 的 5.1.2 (iii) 條中明確指出:

從 HomeKit API 或使用深度面部對映工具(例如,ARKit,相機 API 或 Photo API)收集得到的資料不得用於營銷或其他基於使用者資訊的資料探勘,包括授權第三方進行挖掘。

蘋果公司還禁止開發人員使用 iPhone X 的深度感應模組建立使用者配置檔案,避免對使用該手機的未知客戶的識別和跟蹤 - 在 5.1.2(i)中指出:

禁止嘗試或慫恿他人使用透過深度面部對映工具(例如 ARKit,相機 API 或 Photo API)收集到的資料,或者是以所謂「匿名」、「彙總」或其他不可識別的方式收集到的資料來識別匿名使用者或重建使用者配置檔案。

與此同時,策略中的另一個條款(2.5.13)則禁止開發人員將 TrueDepth 相機系統的面部對映功能用於帳戶驗證。

開發人員必須堅持使用 Apple 提供的 Face ID(或其他 iOS 認證機制)專用 API 介面。所以開發人員基本不能使用 iPhone X 的感測器硬體構建其自己的「Face ID」應用,更別提將這種應用置於 iPhone X 上。

蘋果公司也禁止 13 歲以下的孩子使用面部識別的方式進行身份驗證。

使用面部識別進行帳戶驗證的應用程式必須使用 LocalAuthentication(而非 ARKit 或其他面部識別技術),並且必須對 13 歲以下的使用者使用備用的身份驗證方法。

面部資料的敏感性問題無需說明。因此,蘋果公司計劃設定一些引數,以完全消除或至少是減少對其旗艦硬體現在提供的深度面部跟蹤工具濫用的潛在風險。無論是透過控制對關鍵感測器硬體(透過 API)的訪問方法,還是透過對開發者行為進行約束的方法,抑或評估風險後將應用拒之門外並禁止其獲利的方法。

蘋果公司的開發者指南提出,「保護使用者隱私在蘋果生態系統中是最重要的,開發人員應當謹慎處理個人資料。在滿足客戶期望的情況下,要確保遵守相關法律和蘋果開發者計劃許可協議的條款。」

更大的問題在於,這家科技巨頭將要如何監督每個 iOS 應用程式開發者遵守規則。(我們想要對蘋果進行該話題的採訪,但在撰寫本文時,他們尚未提供發言人。)

蘋果公司會將深度資料提供給 iOS 開發人員——這些開發者以前只能使用 iPhone 7 Plus 較低的解析度。由於裝置具有雙攝像頭——從理論上講,現在將面部追蹤應用程式的開發變得更簡單,這要感謝 iPhone X 中附加的感測器硬體。

由於深度感知能力目前僅侷限在少量的 iPhone 模型中,所以開發人員們尚在觀望。

在此之前,任何得到訪問 iPhone 相機許可權的 iOS 應用都可以使用前置相機的影片流。也就是說,這些應用都可以透過演算法(參考深度資料)來追蹤面部表情。

所以,關於面部資料和 iPhone 的隱私風險並非一個全新的問題,只不過透過 iPhone X 得到升級的硬體給這個問題做出了一個更好的定義。

許可權問題

值得注意的是許可權問題。在應用程式訪問攝像頭前,使用者必須給予額外的許可權,以便該程式能夠訪問 iOS 的臉部對映或深度資料 API。

蘋果公司的開發人員指南中指出,「您所開發的應用程式描述中應該讓使用者知道該應用程式要求哪些訪問許可權(例如位置,聯絡人,日曆等),如果使用者沒有授予許可,應用程式的哪些方面將無法正常工作。」

應用程式在後臺狀態時也無法從 API 中獲取資料。因此,即使使用者已經同意應用程式訪問相機,應用也只有在使用者頻繁使用時才能夠獲取面部對映或深度資料。所以應用程式不可能一直透過面部資料追蹤使用者,除非使用者一直使用他們的應用程式。

儘管使用者不閱讀或無法理解數字服務條款與條件一直存在的問題,(而且蘋果有時會給予某些應用程式額外的許可權 - 例如蘋果公司曾讓 Uber 在後臺工作時也能夠記錄 iPhone 使用者的螢幕記錄,但這是一個例外,而非常規處理。)

除此之外,某些將相機作為其核心功能的熱門應用程式(比如 Facebook,Snap,Instagram 等社交分享應用程式),也非常可能要求使用者必須給出 TrueDepth API 許可權才能用這個程式。

所以,使用者做出的「選擇」可能會導致他們被最喜歡或最常用的應用程式透過面部資料追蹤。

我們與一位 iOS 開發人員聊了聊,這位開發人員認為,那些對 TrueDepth 模組中的感測器會增加個人隱私暴露的擔心都是沒必要的。他提出:「在某種程度上,只要得到使用者許可,你可以用 2D 前置攝像頭完成全部這些操作——增加的深度資料並不會真的對事情做出任何改變。」

另一位開發者稱,蘋果公司透過新的 API 得到的深度資料的解析度仍然「相對較低」——但與此同時,這也是「比 iPhone 7 Plus 深度資料略高的資料」。雖然這位開發者尚未對 TrueDepth API 進行測試以證明其假設。

他們告訴我們:「我們已經使用了 iOS 11 深度資料 API(在 TrueDepth 之前;在 WWDC 上推出的那些),這些用 iPhone 7 Plus 提供的資料得到的結果解析度是相當低的(<100 萬畫素)。」

我們聯絡的大多數 iOS 開發者還在等 iPhone X 到手才開始研究蘋果公司提供的 API,看看有什麼其他可能。

儘管,最終決定權還是在 iPhone X 的個人使用者手裡:他們來決定是否要相信一家公司或者一個應用開發者,給予他們使用相機的許可權,進一步來說,給予了他們用蘋果在 iPhone X 裡面佈置的面部追蹤和麵部建模工具箱的許可權。

但是使用者許可的問題仍舊是一個棘手的問題,尤其是考慮到歐盟對公司對個人資料處理的嚴格規定。

GDPR(General Data Protection Regulation,通用資料保護條例)將於明年 5 月在歐盟 28 個成員國生效。該條例設定了新的關於歐盟公民個人資料處理的責任和義務——也擴大了個人資料的定義。

而且由於美國科技巨頭擁有許多歐盟使用者,歐洲的新規定促使主流應用程式提高隱私標準——這要歸功於違反規定時將揹負一大筆罰款的風險。

因為 GDPR 產生的責任歸屬問題也會延伸到為公司處理個人資料的第三方實體——以蘋果公司為例,尚不完全清楚的是,是蘋果公司要為處理使用者資料的 iOS 開發人員承擔風險,還是由應用開發商承擔應用(或子處理器)產生的所有的責任和風險。畢竟由於蘋果公司與應用開發商的商業關係,這些資料是由蘋果公司提供的。

毫無疑問,歐盟法規已經告知蘋果公司應如何與應用程式開發商構建合同——例如宣告開發人員必須得到使用者的許可,以便證明採取了恰當的合同步驟保護使用者資料。還可以透過合同限制開發人員使用客戶資料,就像之前提到的條款細節那樣。

儘管如此,蘋果公司讓開發商更輕易地大規模地追蹤與利用面部資料還是在一定程度上增加了公司的風險。Fox Rothschild 律師事務所的合夥人,隱私和網路安全專家斯科特·韋爾尼克(Scott Vernick)表示:「從理論上講,每當你將一名新的開發人員引入生態系統時,都會有造成漏洞的風險。因為問題在於:你怎麼可能監管所有的應用程式開發者呢?」

有一點很確定:應用開發者想要獲得歐盟使用者的個人資料——面部資料無疑屬於個人資料——需要遵守的隱私條款數量和水平都會在明年急劇攀升。

以 Snap 為例。當 Snap 向 iPhone X 使用者請求相機使用許可權時(見下面的截圖)使用的是現在的常用措辭,而這類通用措辭並不滿足歐洲的許可標準——這類措辭甚至沒有明確指出需要相機許可權的原因。也並未說明是否會進行面部追蹤。僅憑一個模糊的「更多」可能不會滿足將來的需求。

GDPR 還給予歐盟公民詢問公司擁有哪些個人資料,並要求刪除其個人資料的權利——這就要求公司擁有適當的流程以 A)明確知道他們所持有的每個使用者何種個人資料;B)具有能夠根據需要刪除特定使用者資料的系統。

Vernic 認為 GDPR 條例對 iPhone X 啟用面部追蹤功能會產生很大的影響,他認為開發人員在使用蘋果公司的工具前要確保他們可以對使用者資訊進行「適當的披露」並遵守了「相應的許可權條款」,否則可能會面對違反即將出臺的法律的風險。

他表示,鑑於 GDPR 在 2018 年 5 月啟用,披露與許可權問題會在歐盟方面被無限放大。「我想你會看到歐盟方面對於『第三方到底能夠拿到哪些資訊』這一問題表現出相當的興趣。因為歐盟想要確認隱私條款得到了很好的遵守——以及資料刪除的技術問題得到良好的解決等等。」

那麼在面部對映和跟蹤發揮作用時,什麼樣的許可在 GDPR 條例中是合適的呢?像 Snap 那樣,一個應用程式只是說它想要使用相機卻並未指出該應用可能追蹤使用者表情可以嗎?

Vernick 回答說:「如果從 GDPR 的角度看,你需要進行非常直白甚至於看似無惡不作的使用者許可披露才能過關。」「我還沒有仔細思考,隱私條款會由 Facebook 公司出面,還是 Facebook 應用開發者出面,還是由啟動特定功能的應用開發者出面來進行使用者許可,但是無論如何,你必須坦白你想做的一切『壞事』才能滿足 GDPR 要求。」

Vernick 繼續回答道:「GDPR 的存在就是為了確保資料仍舊是消費者的資料,而非技術公司的資料或者是應用開發者的資料。GDPR 在一開始就提出,每個控制或處理歐盟公民資料的國家都必須就應用程式、產品或服務的用途達成明確的一致。歐盟公民也有權刪除該資訊。或者有其他方式可以收回或移動資料。所以這些普遍通用的規則在這裡將在這裡適用,甚至更為重要。」

當被問及他認為 GDPR 是否能有效提高數字美國以及歐盟數字服務使用者的隱私水平時,Vernick 說:「這顯然取決於公司。他們的業務與歐盟有多緊密的聯絡,或者是他們的業務有多少隻是在美國設立的。但作為一項監管要求,你會看到世界各地的要求會越來越相似。」

他補充說:「歐盟和美國之間的監管的差異會越來越小。雖然這種情況不會立即發生,或者美國法規不會直接照搬歐洲法規,如果美國法規裡出現越來越多類似歐盟法規或 GDPR 協定這樣的內容,我不會感到絲毫意外。如果沒有預先了解過那些朝著美國改變的方式的話。從技術上講,持有一套標準也會更高效,因為你不用時刻想著要遵守兩套法規。」

「我認為如果由歐盟來制定標準的話監管環境將會好轉。」

在 GDPR 的背景下,蘋果決定對敏感的使用者面部生物特徵資料進行加密並且只在本地儲存。這是非常有意義的——這一行為將蘋果公司所需承擔的風險和責任降到最低。

Vernick 說:「如果面部識別功能的使用能以本地加密和儲存為前提而開始那就太好了。如果應用程式開發人員偏離了這一前提,哪怕只有部分偏離,哪怕他們沒有進行完整的面部對映和座標,只要存在非法訪問的行為那就會有風險產生。該行為與持有其他個人身份資訊的行為面臨同樣的風險。」

他補充:「你每一次收集資料的行為都會得到執法部門的關注,因為執法部門一般都希望在過程中佔有一席之地。現在,蘋果公司似乎有點頭痛,因為它不能給出它沒有的東西——資訊並未儲存在蘋果公司,而是儲存在裝置上。但是,如果違反該原則,無論違反原則的是不是應用程式開發人員,蘋果公司都會成為靶子——這將會引發一系列問題,其中包括執法部門到底在監管什麼,以及為什麼要對這一問題進行監管,等等。」

「至少這些是面部識別功能所面臨的一些法律方面的挑戰。」其實,Face ID只是iPhone X TrueDepth相機的冰山一角

相關文章