正值午夜過後，紐約警方追蹤並逮捕了一名因涉嫌一起仇恨犯罪而受到通緝的嫌疑人。一名同性戀男子遭一把銀色左輪手槍槍擊身亡。犯罪嫌疑人還算合作，將銀色左輪手槍交給了警方，還交出了身份證。
之後，犯罪嫌疑人開始保持沉默。當警方將嫌疑人帶至轄區進行登記時，發現身份證是偽造的。他拒絕告訴警方真實姓名，警方也不能提取他的指紋。
此時，剛過早上七點。工作人員給Edwin Coelle打了個電話，2011年末，紐約警察局成立面部鑑別部門（Facial Identification Section ）後，他一直領導著這個部門的工作。那天是週六，Coello在家裡，還穿著睡袍，不過，接到電話後，他用手提電腦掃描了身份證，並開始工作。
一個人身著浴袍追蹤案件，聽起來就像是警匪片的情節。電視上，技術充當神探助手，幫助他們找到所需線索。平常日子裡，在警局看到這些真探員們用真正的技術解決真實案件時，你會發現實際情況要複雜的多。Coello說，「這可不是《諜影重重》。」
在警局大樓——一座位於南曼哈頓的龐然大物——九樓辦公室裡，牆上掛著成排55英寸LED監視器，儼然一副不斷變化著的案件藝術長廊。但是，大多數工作是在探員們位於房間中央的格子工作間裡完成的。
[caption id="attachment_7340" align="aligncenter" width="1098"]
該螢幕上顯示著紐約警察局面部識別科鑑別的發生在紐約以及東海岸地區的活躍案件[/caption]
[caption id="attachment_7341" align="aligncenter" width="847"]
面部識別軟體中，一串數字代表著一張臉[/caption]
每個探員的隔間裡有三個監視器。一個探員用滑鼠轉動螢幕上的臉，將他轉到和登記照一樣的角度。安全攝像頭用魚眼鏡頭拍攝的照片看起來已經變形了。她試著將這張照片與罪犯資料庫裡的照片進行對比，如果沒有找到匹配物件，她就得調整魚眼比率，確保照片上的人臉比例合理，從而為識別嫌疑人提供線索。另一名探員正在從來自犯罪現場的手機視訊上提取相關畫面。他還要瀏覽登記照資料庫。螢幕上，線框模型正在呈現3D面部 ；這名探員正根據一張側面圖，試著做出整張面部影象。
你臉上到底有什麼？
使用了最新面部識別技術後，臉看起來根本不像臉。相反，一串串數字替代了髮際線、眉毛、鼻子結構、下頜線條、耳朵、傷疤或痣以及頭部在影象中的位置、偏移及轉動角度，比如下巴是否抬起，臉偏離中心多少等。紐約警局的軟體總共考慮超過24個參考因素。演算法也就是計算機用來解決問題的程式，利用這些數字來判定這是誰的臉。一個簡單的表情變化就能讓數字發生極大的改變，為演算法制造真難題。
將照片與資料庫中照片進行對比，要花去幾小時甚至幾天的時間。但是，那個週六早上，在家工作的Coello拿著一張直視面部的照片，一張表情自然但光線暗淡的照片，他說：「我得讓照片更清楚些，照片有斑汙。」
[caption id="attachment_7342" align="aligncenter" width="1149"]
曼哈頓，紐約警察局面部識別科的探員正在工作。安全攝像頭或視訊的畫面質量較差，這種軟體能幫助探員提高畫面質量。[/caption]
幾分鐘後，他問探員，「你能看一下他，然後告訴我他臉上有疤或者什麼印跡嗎？」身份證照顯示，他臉上沒有什麼印跡，不過，資料庫提供的幾百張臉中，有一張帶有傷疤的臉能夠匹配得上。探員說，嫌疑人臉上也有傷疤。Coello告訴探員，比較匹配的物件是Elliot Morales，曾六次被捕，其中一次涉嫌謀殺未遂。這次工作僅耗費一個小時，Coello繼續和孩子們享受週末。
警察部門聽到越來越多的同型別成功，我們發現，面部識別技術正成為打擊犯罪行動中的一部分。紐約以外地區，諸如佛州 Pinellas County，警方使用這種軟體已有十四年了；它曾幫助警方在例行交通攔截檢查中，逮到逮捕令上的的罪犯。
[caption id="attachment_7343" align="aligncenter" width="1166"]
紐約警局的Roger Rodriguez探員演示瞭如何通過面部識別軟體提升監控攝像頭所攝照片的質量，做出一張直視面部的圖片。接著，照片與資料庫中的某人匹配上了。該案件發生在2013年，圖中嫌疑人最終被判盜竊罪。[/caption]
紐約警察局已經將面部識別技術應用於8000多例實際案例中了，並在罪犯資料庫中成功找到2000例可能的匹配。在這當中，超過1000例幫助警察找到了罪犯。在2012年時發生過一起轟動一時的案件，在一家理髮店發生了一起槍擊事件，一個男人朝一個正在剪頭髮的點頭之交開了一槍。受害者和其他目擊者只知道他綽號阿瑪尼，但其中一人在臉書上有他的照片。警察將該照片和資料庫內的人臉進行比對，成功找到一個並最終確定了他的罪行。
面部識別軟體也在車輛註冊情形中變得普遍起來，超過30個州利用這一技術來識別假駕駛證，並在調查中確認身份資訊。
在聯邦級別，國家部門之一的美國國務院外交安全域性在2014年利用全新安裝的面部識別系統找到了Neil Stammer，他於2000年獲得保釋，其罪名為雞姦男性未成年。該機構當時正在測試這一系統，利用該系統尋找最新的FBI通緝罪犯，碰巧，Stammer的臉出現在其中。他用了個假名，居住在尼泊爾，正是他定期更新旅行護照後留下線索的地方。
2014年9月，FBI推出了新一代鑑別系統，在該資料庫中，有望存放5200萬條記錄，這些記錄均為美國及海外各類刑事民事罪犯照片和指紋資料庫，所有的這些都是為了打擊罪犯和恐怖主義。
老大哥，和兄弟姐妹們
所有這類政府掌控的面部識別技術都導致了無可避免的老大哥般的權利問題。只有它能夠比奧威爾想象的還要入侵生活。在各大城市的各個地方遍佈著監控攝像頭。電子前線基金會的高階律師Jennifer Lynch說道：「風險就在於政府能夠隨時追蹤人們的行蹤。」她表示，就公民自由倡導者而言，尚無法根據公共法律記錄對此進行判決，然而事實上並沒有特定的法律法規來對抗這些。
而老大哥可能還有兄弟姐妹們。零售商們已經使用面部識別系統來追蹤襲擊店鋪或連鎖店不止一次的小偷們。這就跟賭場利用該技術確定已知的老千們類似，而這些老千就能被保安請出賭場。某些酒吧利用手機應用（在開發人員停止運營這一應用之前）在人們進店時掃描他們的面部。這款應用能夠識別進店者的性別、年齡，並將比率報告給該應用的使用者們，以便他們決定今晚該如何度過。
紐約警察局不止一次地嚴肅引證道，正是考慮到公民的自由權，才只將面部拍攝用於罪犯資料庫來追蹤嫌犯。但某些執法機構也在當地州府將該技術連結至駕照資料庫，而FBI的最新資料庫已經開放給各州和當地執法機構。
目前在使用面部識別系統時還沒有發生一起明顯的誤識別或誤報情況。但這只是時間問題，類似的事情在指紋識別情況中仍有發生，而指紋識別比面部識別（有時也叫做「臉紋」）可要古老精確得多。在2004年馬德里火車爆炸案後，FBI根據指紋對比將一位美國律師Brandon Mayfield當成了案犯，最終證明是錯誤的。他在監獄裡呆了兩週，之後法庭判決他獲得了200萬美元的賠償以及FBI的正式道歉。
Coello強調紐約警察並不將面部識別對比結果當成逮捕某人的結論性證據。他說：「這只是偵探們的一種指引。我們用這些技術來找到正確方向。」那些在面部識別科工作的人們都是偵探，他們還會做除了識別照片以外的外勤工作，仔細調查某個可能的嫌犯的背景，比如地址等來協助調查。Coello說道：「沒有人會穿過4個城鎮去搶劫一家酒水鋪。」
即使有了明確的匹配，面部識別組也只會說這人可能是名嫌犯。該部門說該技術僅有5次誤識別，最近的一次是在2012年的3月。
紐約犯罪活動實時監測中心（含有面部識別科）的前指揮官Stephen Capasso說：「這只是一種工具。它既不是DNA，也不是指紋。然而，我認為面部識別的使用正在增加。」
大部分人都遇到過「完全守法」的面部識別，比如臉書上的照片標籤，或者類似Google Photos等照片應用上的標籤，這些軟體的演算法能夠解析圖片並對照片中的人們提醒可標記的名字。臉書在2010年末開發了其照片標籤工具，併成為很多使用者的常規功能。這顯然是第一例大眾消費者使用面部識別，但絕不會是最後一次。
我們如何走到了這一步？
例如，旅行者可能會在機場遇到面部識別演算法。2013年底，在澳大利亞，P. Jonathon Phillips穿過了一道智慧門（SmartGate）。這是一個自動化的邊境控制系統，在澳大利亞境內8大國際機場使用，以加快來自8個國家（包括美國）的旅客過境處理速度。
[caption id="attachment_7344" align="aligncenter" width="877"]
P. Jonathon Phillips被認為是面部識別領域最有影響力的科學家[/caption]
Phillips將護照放在處理臺上，並看著攝像機，後者自動將他的臉與護照上的照片進行比對。5分鐘內，他就通過了智慧門。他了解這個系統，但他仍然感嘆：「看到這裡，我真的驚呆了！我在面部識別領域已經工作了23年。我們一開始只是在研究『能識別』的演算法。而現在當你去到某個地方時，它就真的能識別了……」
Phillips可能是面部識別領域最有影響力的科學家。他在這個領域的工作始於1993年，當時他在陸軍研究所啟動了FERET（Face Recognition Technology）專案，這是第一個同類專案。那時候，他們在一個擁有1200張人臉照片的資料庫中測試演算法，這些照片大多是喬治梅森大學的學生志願者。現在，他是美國國家標準技術研究所（NIST）的電子工程師，並管理著NIST的面部識別專案。
他剛入行時，核實護照照片是一件困難的事。而現在，在良好光照條件下識別直視前方的正臉時，許多面部識別演算法的能力已經超過了真人。
當然，面部識別演算法並不會「看見」任何東西。人臉及其特徵被解構成一串串數字，代表各個畫素、它們的顏色以及它們在數學化的人臉中所處的位置。首先，演算法要找到一張臉，然後找到人腦能立刻識別出來的特徵，例如眼睛。在早期，有一種通過線性代數表徵的技術叫做特徵向量，可以讓研究者對排列成行的相似物體進行比較。想一想駕駛證和護照照片，或者登記照，其中的人臉都是望向正面的姿態。研究者用這些技術創造出了特徵臉，對人來說，這些臉就像鬼一樣，但它們為演算法提供了一個人臉的參考表徵，用它來與新臉進行比較。
這改善了這項技術，使得人臉分析起來相對直接一些。在人臉中，眼睛和嘴總是位於同一個地方，臉型變化也不會太大——你永遠不可能找到一張正方形、星形或六角形的臉。到20世紀90年代中期，面部識別成為了一項炙手可熱的技術，許多創業公司都致力於將它商業化。
「這很有趣。一項新技術的初始階段開始發芽，」Brian Martin說。他是MorphoTrust公司的研究與技術資深總監，這家公司是向美國政府和執法機構提供面部識別軟體的主要供應商。1998年，他在匹茲堡大學獲得了凝聚態物理博士學位。在那之前的一年，他開始在一家早期的面部識別創業公司Visionics工作。它的第一個產品是一個生物識別屏保程式，使用你的臉來作為電腦密碼。Martin說，這個產品有兩大賣點：一是你不需要記住密碼，二是它會拍下所有試圖開啟你電腦的人的照片。但是，那個年代的攝像頭解析度太低，意味著這項技術有著嚴重的影象質量問題。
[caption id="attachment_7345" align="aligncenter" width="1218"]
Rodriguez探員演示了軟體如何用監控攝像頭拍下的他的照片構建模型。採用他臉上的參考點，計算機構建了一個多邊形組成的3D模型，將標記點放到頭部的形狀上。Rodriguez臉部照片覆著在多邊形模型上，創造出一個3D版本的潛在嫌疑犯。接著，影象可以被旋轉，以便同警察登記照或網路截圖做比較。[/caption]
[caption id="attachment_7346" align="aligncenter" width="788"]
紐約警察局面部識別科里老式的人臉識別圖表，展示出人類頭部的解剖特徵。[/caption]
Martin說，研究者開始使用所謂的區域性特徵後，精度大大提高了。在其中，演算法並不只使用整張臉，還會使用區域性區域，例如眉毛的形狀和鼻子的寬度等。這使得軟體不容易被表情改變所影響。2005年左右，研究者開始將機器學習的技術用到演算法中，訓練演算法學習如何越來越精確地匹配特徵組。
臉書在2010年末開發了其照片標籤工具，併成為很多使用者的常規功能。這顯然是第一例大眾消費者使用面部識別，但絕不會是最後一次。
今天，最大的推動力在於「深度學習」——受到人腦神經連線啟發而構建起來的人工智慧演算法。我們的神經元通過數以萬億的突觸相連，就像計算機網路中的節點。這樣形成的連線受到神經元之間互動次數的影響。神經網路也是由連線所組成，這些連線受到暴露的調節，實際上就是從正在發展的模式中學習。在面部識別中，當它們被「展示」了數千張照片後，這些模式就會自動浮現。當一張臉與另一張不同光照條件或不同表情的臉擁有足夠多相同的特徵時，演算法就從數學上識別出了這張臉。神經網路理論與20世紀90年代相比，並無太多不同，但21世紀低價計算能力的爆炸和資料集的可獲得性，讓研究者能夠充分利用這個理論的優勢，將其發揮到極致。
在他們完成演算法訓練之後，研究者們通常就會依據可信度較高的公開基準對演算法進行測試。最受到青睞的資料集是Erick Learned-Miller（來自馬薩諸塞大學阿姆赫斯特分校的電腦科學家）和他的同事們收集的圖片集。2003年，Learned-Miller還是加州伯克利的一名博士後研究員，他利用一個名為「Faces in the Wild」的資料集進行相關工作，「Faces in the Wild」是由David Forsyth、Tamara Berg 與其他人一起開發的。他們從各個網頁新聞網站上（這也是為什麼資料集被叫做「原生（wild）資料集」）收整合千上萬的人臉圖片來訓練他們的面部識別演算法。
其目的在於訓練演算法自動標記出照片中的人臉。2004年在關於這個演算法的一篇論文發表之後，Learned-Miller開始收到多位面部識別研究員的請求，他們都想要在這個人臉資料集上測試他們自己的演算法。2007年，他和一個同事整理了這個資料集，刪除了重複和拍攝錯誤的圖片，並且以「Labeled Faces in the Wild」為名釋出了這5749個人組成的13233張圖片的圖片集。這個時間點可謂是恰到好處——面部識別演算法越來越擅長識別可控環境下的人臉，譬如護照照片。研究者們想要挑戰更有難度的，而這個資料集正好合適。
目前該資料集在超過1,100篇論文裡被引用。過去八年間，超過60個研究團隊以Learned-Miller釋出在人臉標記網站上的資料為基準，向它上傳了他們自己研發的演算法的識別效果。臉書的DeepFace演算法在過去幾年中都保持著最好的效果，直到去年被中國公司Megvii的Face++演算法以99.5%的準確率超越。
「面」向未來
種種資料顯示Labeled Faces in the Wild似乎已經被人們征服。Learned-Miller 說是時候讓面部識別的研究學者們著手到新問題上去了。這一塊依然存在著很多的難題，電腦在光線條件不理想的情況下識別人臉效果很差，或是當分析的面部與直視角度超過40度時，識別效果也不好。
根據Phillips的調查，相比於1‰的（專業相機拍攝的）登記照識別失誤率，日常的（按下快門就拍攝的）生活照識別失誤率可以達到20%，NIST目前的面部識別專案，被稱為PaSC，其資料集囊括了9,376幅靜態圖片和2,802段視訊。Labeled Faced in the wild使用由專業攝像師拍攝的知名人士的照片，而PaSC，在2013年十月啟動時就把關注點放在了世界其餘範圍內的所有照片：那些用手機或是簡易數碼相機拍攝的照片。它們的效果很模糊很糟糕。
[caption id="attachment_7347" align="aligncenter" width="1127"]
當整個區域有視訊監控時，紐約警察局會記上標記，比如布魯克林橋底。[/caption]
在其核心，面部識別是一個人工智慧領域的挑戰，儘管現在已經沒那麼難了。Phillips認為知道人類如何識別特定條件下的人臉有助於演算法開發。大部分演算法通常都把ba重點放在臉部中央，而人類則會利用大量與他人不同的細節，比如他們的頭髮。我們做得更好——在與一個人共處一個上午之後，大部分人都能在絕大多數燈光亮度或者各種角度下識別出這個人的樣貌。而演算法需要密集訓練，就如同利用了計算速度和模式匹配的深度學習一樣。
部分研究者，像Learned-Miller一樣，嘗試過非常不同的方法。當我拜訪他所在學校的實驗室時，他正在使用的工具是一個略顯古怪的老式地球儀，地球儀本身並不古怪，奇怪的是它被當作了人類腦袋。他目前在研究一個演算法，能夠識別出這個地球儀的旋轉和具體位置。這可以幫助演算法更好的分辨人頭的位置：比如是正面的還是側面的照片呢？他的這種方法被我們稱為無監督學習。（用很多不同姿勢的大量面部照片給我們的演算法模型進行訓練被稱之為監督學習。）
[caption id="attachment_7348" align="aligncenter" width="995"]
在馬薩諸塞大學阿姆赫斯特分校任職的電腦科學家Erik Learned-Miller用一個地球儀來幫助他的演算法模型識別旋轉和位置角度的不同。[/caption]
在其核心，面部識別是一個人工智慧領域的挑戰，儘管現在已經沒那麼難了。
就在我訪問的那一天，Learned-Miller和他的研究生Cheni Chadowitz 在觀察用Matlab寫的演算法產生的資料，Chadowitz已經改寫了一個早期由Learned-Miller寫的只識別正面人臉影象的演算法程式。Learned-Miller正在盯著一個散點圖，它表明改進演算法在獲取不同圖片的地理特徵上取得了一定成功，比如非洲之角，並把它放到了正確的經緯度上。
這個地球儀專案在Chadowitz畢業後被暫時擱置了，但是Learned-Miller說他正在等待一個合適的學生來繼續這項研究。目前，Learned-Miller正集中於解決如何在不佔用大量記憶體的情況下提取面部表徵。他正在研發一個演算法——將大量圖片集中到一個「大腦模型」一樣的結構中，能夠獲取關於臉部的所有資訊資料，就像一個小視訊，但是體積空間都要更小。
當同行們都關注於短期科研專案時，Learned-Miller所從事的基礎研究將需要十年甚至更長的時間才能影響市場。「機器視覺領域的許多專家非常熱衷於從無到有的研究，而從有到優的研究才是真正困難的。」他表示，「通常我們創造的產品可能在90%的情況下都行之有效，但假使進入市場後出現那10%的偏差時，消費者們就無法接受。」
戴上他們的工作「臉」
近些年，面部識別公司如雨後春筍般興起，雖然基本都逃不出倒閉關門或勉力經營的宿命，但從目前來看，市場已進入商業成熟期，市場規模也將近達到30億美元，諸如 MorphoTrust, NEC 及Cognitec等行業領軍企業的主營業務大多來自政府及企業安保。據估計，市場規模有望於2020年實現倍翻。
其中，部分新增市場份額源於該項技術在法務機構的推廣實施，消費類APP的新增需求逐漸形成。除了識別人以外，臉部識別軟體還可應用於其他場景，譬如搜尋具有一定特徵的人物影象，追蹤頭部移動機面部表情。 在中國，Megvii曠視科技公司的Face++已應用於約會服務，甚至視訊遊戲。Kairos公司是一家總部在美國邁阿密的面部識別程式介面供應商，企業可使用接其提供的介面與時間管理、健康管理等軟體進行互動，並向遊樂場遊客提供拍照服務。
當前，面部識別與面部分析技術的融合是未來發展趨勢之一，即基於面部表情來預測情緒，甚至診斷某些疾病。
與此同時，此類應用也凸顯出隱私問題。大家可以設想下，保險公司能夠完全根據客戶照片判斷健康水平並評分。Electronic Frontier Foundation的Lynch指出，當前沒有任何法律禁止公司共享那些盜竊嫌疑人的資訊。「某人在商場偷東西時被安保給抓個正著，商場有權利將他逐出」，她強調，「然而這極可能使他在其他商場中也被跟蹤。」在賭場，這種情況已經屢見不鮮。
隱私法是基於公民自我保護權益而設立的。譬如黑名單計劃（拒絕來電計劃）當且僅當使用者在官方資料庫註冊後才開始生效。相較而言，面部識別卻大有不同，哪怕只是在街邊溜達，警方安裝的攝像頭也經常會記錄下你的一舉一動。
「執法機關可以使用納稅人的錢，安裝攝像頭監視異見人群，並已達到按名識別的程度。」喬治城隱私與技術法中心常務理事Alvaro Bedoya說道，「我們應該好好想想那究竟是不是我們所想要的世界。」
花開兩朵，各表一枝。我們在看看Coello警官截然相反的態度。他認為面部識別在實際工作中十分有用。警官們過去必須得帶著照片登門走訪，詢問是否有人認識照片裡的人。「現如今我們也不需要這樣了」，他說道，「你把照片交給我們，我們將利用資料庫完成餘下的工作。」
雖然Bedoya表示該項技術在實際應用中很有幫助，但他也表示了一定的憂慮，公眾集會可能受到阻礙，陌生人或企業隨意可能通過照片就能夠獲悉我們的姓名，職業及住址。目前，一款名叫Nametag的應用已經可以實現上述部分功能。該應用的開發商是來自洛杉磯的Facialnetwork.com，這家公司去年還發布了一款名叫Creepfield的應用，其後臺資料庫包含幾十萬登記在冊性侵罪犯的照片。六月，在國家電信與資訊管理主辦、商務部協辦的隱私準則討論會上，Bedoya連同八家消費者權益組織集體退席，明確指出企業缺乏足夠的動機去賦予民眾權利以決定自己的臉是否要被識別。
目前，還未出現任何涉及臉部識別的公民自由訴訟案件，部分原因是我們還未掌握足夠的證據表明政府或者企業濫用這項技術。僅有德克薩斯州與伊利諾伊斯州立法通過了監管面部識別的商業用途。四月，Facebook因涉嫌違法隱私限制而在伊利諾伊斯州遭到起訴。如果這起案件進入庭審，那也算是開創先河了。
毫無疑問，技術是中性的，而其好與壞取決於使用者。當面部識別悄然成為一種影響範圍極廣的工具時，我們必須思考好如何趨利避害，物盡其用。
選自Discover，作者Michael Fitzgerald，機器之心編譯出品。參與：微胖，柒柒，汪汪，Angulia，張璽，Gabrielle。