編譯 | Rik R
來源 | futurism.com
在上世紀 80 年代，曾有一段時期，倫敦聖喬治醫學院採用了一種高科技的方法來篩選申請者。那是一個計算機程式，被首次用來概覽簡歷，從而做出初步篩選，每年大約要審查 2000 名候選人。該程式會分析招生記錄，以瞭解成功申請者的特點，從而進行相應的調整，直至與招生小組的決定相匹配。
但是在學習過程中，這個程式逐漸偏向於去尋找一些其它特點，不止於良好的考試成績和學術研究潛能。在該程式施行的 4 年後，該醫院的兩名醫生發現，這個程式往往不去考慮候選者的學術成績，而是直接拒絕女性申請人，以及那些沒有歐洲名字的申請人。醫生們還發現，每年有多達 60 名申請者由於性別或種族問題而被拒絕參加面試。該程式將性別和種族偏見納入到了訓練資料中，本質上就是被教導，婦女和外國人不是做醫生的料。
30 年後的今天，我們正面臨著類似的問題，但現在這種程式的內部偏見情況則更為普遍，且偏見所佔決策的權重甚至更高。如今，從政府部門到醫療機構，機器學習驅動的人工智慧演算法已經無處不在，它們會基於歷史資料來做預測，從而輔助決策。在學習資料中的模式時，它們也吸收了其中的偏見，並使其永久性地得以保留。例如，谷歌更偏向於給女性推送低薪廣告；亞馬遜的當日送達服務繞過了黑人街區；還有幾類數位相機軟體都在識別非白人使用者的面孔方面感到困難。其中最鮮明的例子是 COMPAS 演算法，該演算法被多個州政府的執法機構用於評估被告人再犯罪的風險，據 ProPublica 的一項調查顯示，黑人被錯誤標記為罪犯潛在分子的比例幾乎是白人的 2 倍。
很難弄清楚演算法中的偏見和公平，即使計算機專家也不行。其中一個原因是，演算法建立過程中的細節通常被認為是專有資訊，因而受其所有者的密切保護。對於更加高階的演算法，其結構邏輯異常複雜，以至其建立者也不知道它們的工作方式。這就是人工智慧領域中所謂的黑盒子問題：我們不能看到演算法的內部，無法理解它如何做出決策。如果沒有解決好這個問題，許多人所曾譴責規避的歷史歧視資料，將被演算法永久性地編碼進人類的未來，從而摧毀我們的社會。
這些擔憂曾在電腦科學界的一小部分人中被輕聲低吟過幾年，現在正成為這一領域的重點討論物件。在過去的 2 年裡，人工智慧領域中有關公平問題的論文數量出現了巨大的增長。具備了這種公眾意識，社會各方的責任感也在與日俱增。Kate Crawford 是一名微軟的研究員，以及紐約大學 AI Now 機構的聯合創始人，他在最近的一次演講中問道，「是否存在一些我們不應該建立的東西呢？」
「機器學習終於迎來了它的黃金時間。如今，我們正試圖使用它來達成現實世界中的數百個不同目標，」微軟高階研究員 Rich Caruana 告訴 Futurism 說道，「人們有機會去部署具有危害性的演算法，從長遠來看，這會累加為相當大的社會影響……現在，每個人都突然間意識到，這是人工智慧領域一個重要的新篇章。」
演算法讓我這麼做
我們已經與演算法磨合了很長一段時間，但是黑盒子問題似乎前所未有。早期的演算法更簡單而透明。其中許多仍然在使用中，例如 FICO 的信用評分演算法，每一個新演算法的應用都有對應的法律規定。
「人們幾十年來一直在使用信用評分演算法，但這些領域都有很嚴格的法規，且會隨著這些預測演算法的使用而不斷對其進行調整。」Caruana 說道。這些法規能夠確保預測演算法可以為每一項打分提供一個對應的解釋：比如你的貸款審批沒有透過，原因是你的貸款餘額過高，或是你的收入太低。
在其它一些領域，比如法律界和廣告業，法規不會對信用評分公司所使用的晦澀演算法作要求。你可能不知道自己為什麼會被拒絕貸款或找不到工作，因為沒有人能夠強迫該演算法的所有者解釋其工作原理。「但我們知道，由於 [演算法] 都是基於真實世界的資料來訓練的，它們都會有失偏頗——因為現實世界就帶有偏見，」Caruana 說道。
譬如語言，它是最明顯的偏見來源之一。當演算法從書面文字中進行學習時，它們會在那些經常一起出現的單詞之間發現一些聯絡。例如它們可能會學習到，「男人之於計算機程式設計師正如女人之於家庭主婦。」當這一演算法被用來為一份程式設計工作匹配合適的簡歷時，它將更可能選擇男性而非女性。
解決諸如此類的問題相對來說比較容易，但是很多公司根本就不願意這樣做。相反，他們遮蔽了一些適當的資訊以隱藏這種不一致性。如果不知道演算法的細節，在許多情況下，甚至專家也無法判斷其中是否存在偏見。
因為這些演算法是私密的，且處於監管機構的管轄範圍之外，公民幾乎不可能對這些演算法的創造者提起訴訟。那些曾經的訴訟者並沒能走多遠。2016 年，威斯康星最高法院駁回了一名男子要求審查 COMPAS 演算法原理的請求；一名叫 Eric L. Loomis 的訴訟人被判處了 6 年有期徒刑，部分原因是 COMPAS 認為他具備「高風險。」Loomis 稱，法官對一個不透明的演算法的依賴侵犯了他的法定訴訟權益。最後此案被提交給了美國最高法院，並於 2017 年 6 月宣告訴訟失敗；另有 2 位法學教授，花了一年的時間來調查各州在其刑事司法系統中如何使用評分演算法。他們的調查所證實的唯一一件事是，這條資訊被很好地隱藏在了保密協議的背後。
但這些公司不可能無限期地享受自由。今年 3 月，歐盟將出臺相關法律，要求公司有能力就其演算法的工作及決策原理向前來諮詢的客戶做出解釋。
美國沒有進行這類立法。但有跡象表明，這種趨勢可能正在席捲更多的監管監督機構。2017 年 12 月，紐約議會透過了一項法案，將設立一個專項調查小組來研究城市機構所使用的演算法，並探索出方法來讓其演算法決策過程被大眾所理解。
黑盒子鑑定
無論監管機構介入與否，在演算法的開發和部署中，文化的轉變或許可以減少偏見演算法的應用比例。隨著越來越多的公司和程式設計師都對其演算法的透明性和可解釋性做了承諾，對於那些沒有給出承諾的公司，一些人希望將它們公之於眾，讓它們失去民心。
近年來，計算能力的提高已經使人們有可能創造出準確且可解釋的演算法，而這一技術挑戰正是開發商一直以來在努力克服。最近的研究表明，在累犯預測的準確度方面，是存在且可以建立出能夠比肩 COMPAS 等黑盒子演算法的可解釋模型的。
「這項研究結果就擺在那兒，我們知道如何建立出非黑盒子版模型，「杜克大學電腦科學及電氣和計算機工程系副教授 Cynthia Rudin 告訴 Futurism，「但要讓人們注意到這項工作則有些困難。如果政府機構終止了黑盒子模型研究的贊助補貼，則或許有點幫助。如果法官們拒絕使用黑盒模型進行判決，也會有所幫助。」
其他人正在努力想出一些方法來測試演算法的公平性，即在一個新演算法被髮布到世界之前，建立一個由檢查項與平衡項所組成的系統對其進行評估。這就好比一種新藥想進入市場，就必須透過臨床試驗。
「現在的情況是，模型的開發與部署速度太快了。康奈爾大學統計學博士生 Sarah Tan 告訴 Futurism，整個試驗過程都沒有適當的檢查步驟，現實世界中的測試環節也缺少相應的規定。
理想的情況是，開發人員應該從他們的訓練資料中清除已知的偏見，比如性別、年齡和種族，並執行內部模擬來檢查他們的演算法是否還有其它潛在的問題。
同時，在最終釋出前，確保所有演算法都經過嚴格的測試，有幾種方法可以找出哪些演算法可能會受到偏見的影響。
在最近的一篇文章中，Tan、Caruana 及其同事描述了一種新方法來理解黑盒子演算法可能的工作原理。該團隊基於 COMPAS 預測出的累犯的風險評分資料，建立了一個模擬黑盒子演算法（比如 COMPAS）的模型。他們還基於真實世界的結果建立了另一個模型，即那些被預測為累犯的人是否真的又犯罪了。比較這兩種模型，研究人員可以在不剖析演算法的前提下評估該預測評分演算法的準確性。比較這兩個模型的輸出結果之間的差異，能夠找出各個變數（種族或年齡等）在一種或另一種模型中的權重。他們的研究結果與 ProPublica 和其他研究人員的發現一致，即 COMPAS 對黑人是有偏見的。
修正這種偏見可能會帶來巨大的回報。如果設計得當，這些演算法將會消除刑事司法、警務和社會其它領域中根深蒂固的偏見。
「如果我們真的致力於此，併成功地減少了偏見，我們就可以擁有一個良性的反饋迴路，那時，事實上演算法會慢慢幫助我們減少對彼此的偏見，使我們成為一個社會共同體。」Caruana 說道。