2019 年度回顧：抵制之聲暗潮湧動，AI 自身該如何負起責任？

雷鋒網 AI 科技評論：作為一家跨學科研究 AI 對社會、政治和倫理的影響的 AI 研究機構，AI Now 研究所自創立以來的四年時間裡，已釋出三份年度報告，在去年的《AI Now Report 2018》中，該研究所對圍繞 2018 年人工智慧的一連串技術醜聞的核心——問責制進行了回應，並從該問題出發，對包括監控問題，公平、偏見與歧視問題以及倫理問題在內的其他相關問題提出瞭解決提議，AI 科技評論也對該報告進行了 。

作為年度報告的前期預熱，AI Now 研究所也舉辦每年一屆的「AI Now 研討會」，邀請了跨學科的研究者來一同探討相關主題。日前，紐約大學 AI Now 研究所舉辦的第四屆 AI Now 研討會上，邀請到了研究所的組織者以及相關領域的學者以及律師，聚焦於 AI 帶來的負面影響所引起的與日俱增的抵制之聲展開了討論。

2019 年距離尾聲還有一段時日，在迎接 AI Now 研究所的年度報告之前，我們不妨先從今年的「AI Now 研討會」來一窺本年度 AI 對社會、政治和倫理帶來了哪些問題和影響。

左為 Meredith Whittaker，右為 Kate Crawford

與往年一樣，AI Now 的聯合創始人 Kate Crawford 和 Meredith Whittaker 為該研討會做開場致辭。在開場致辭中，兩位創始人主要聚焦以下五個主題，簡短地過去一年中人工智慧領域出現的「反對」聲音：

• （1）人臉和情感識別； 

• （2）從「AI 偏見」到公正的轉變； 

• （3）城市、監視、邊界； 

• （4）勞力、工會和 AI； 

• （5）AI 對氣候的影響。

AI 科技評論將兩位的致辭實錄編譯如下，並進行了不改變原意的刪減。

一、人臉和情感識別

2019 這一年，企業和政府都在加大力度推廣人臉識別技術在公共住房、招聘和城市街道等場景中的應用。目前，美國一些航空公司甚至採用人臉識別的登機方式而無需登機牌，它們表示這樣更加方便。

人臉識別的一個子類別——情感識別也得到了更加廣泛的使用，它透過解析面部的微表情來「讀取」人的內在情緒。正如心理學家 Lisa Feldman Barret 在一份廣泛的調查報告所提到的，這種 AI 相貌學並沒有可靠的科學依據。然而，這種沒有可靠的科學依據的技術現在卻已經用到了課堂和工作面試中，並且往往是在讓人們不知情的情況下使用。

例如，喬治城大學隱私和科技中心獲得的一份檔案就曾揭露，FBI 和 ICE 在未經個人同意或未經州或聯邦立法機構授權的情況下，一直在暗自訪問駕駛執照資料庫，並對數百萬張照片進行面部識別搜尋。

而在今年，隨著美國公民自由聯盟（ACLU）的 Kade Crockford、羅切斯特理工學院的 Evan Selinger 和東北大學的 Woodrow Hertzog 等一眾組織者和學者呼籲對人臉識別進行嚴格限制後，選民和立法者也開始針對該問題做出了一些舉措。第九巡迴上訴法庭（The Ninth Circuit Court of Appeals）最近對將 Facebook 因未經許可而對使用者的照片進行面部識別的起訴案裁定為隱私侵犯。

在傳媒正義（Media Justice）等組織領導的運動下，舊金山於今年 5 月簽署了第一個人臉識別禁止法案，隨後又有另外兩個城市也相繼簽訂了該禁止法案。不久前，Bernie Sanders 民主黨總統候選人也曾承諾將在全國範圍內推行該禁令。另外大部分音樂人也要求在音樂節上停止使用人臉識別技術，與此同時，現在還出了一部叫做《禁止生物識別屏障住房法》（No Biometric Barriers to Housing Act）的聯邦法案，旨在禁止在公共住房中使用人臉識別。

歐洲同樣也發生著此類抵制運動：英國議會委員會呼籲，在建立法律框架前要停止對人臉識別的試驗；而布魯塞爾警方對這些人臉識別技術工具進行測試的行為，近來也被視作是非法的。

當然，要實現這些改變，我們還有很長一段路要走。而現在我們需要明確的一點是，這並不屬於完善技術和消除偏見方面的問題。鑑於被監視、追蹤和逮捕的人存在種族、收入方面的差異，即便是再精準的人臉識別技術也會帶來不同的危害。正如 Kate Crawford 最近在《自然》雜誌上所寫道的：消除系統的偏見並非 AI 的重點，這些系統「發生故障時會帶來危險，順利工作時則會帶來危害」。

二、從「AI 偏見」到公正的轉變

今年，我們也看到了人工智慧界的一項重要進步：從狹隘地聚焦於從純技術層面對 AI「去偏見」轉變到更實質性地關注公正。

一定程度上，這也是由很多令人不安的事件所推動的。

例如，密歇根州前州長 Rick Snyder 是一位技術主管，曾主導治理過「弗林特水危機」，也正是他決定安裝一個可用於整個州的自動化決策系統——MiDAS。該系統設計的初衷就是用來自動標記出涉嫌福利欺詐的工人。為了削減福利開支，該州安裝了 MiDAS 系統，整個欺詐檢測部門的人都遭解僱。然而，該系統最終被證明存在 93% 的錯誤率——它錯誤地檢測出 40,000 多名居民涉嫌福利欺詐，導致很多人面臨破產甚至自殺。值得一提的是，MiDAS 還只是一眾旨在縮減貧困人口的緊縮政策中的一個案例。

另外一個案例來自於 AI Now 的政策負責人 Rashida Richardson 所領導的研究，她研究了警察的日常工作與預測性警務軟體之間的關聯性。最終，她和她的團隊發現，在美國多個警察部門中，預測性警務系統可能使用了來自存在種族主義和徇私舞弊的警察所留下的帶有誤導性的記錄。

顯而易見，在這種情況下，糾正系統的偏見的關鍵點不在於刪除資料集中的某一個或另一個變數，而是需要改變警察記錄資料的做法。

人權資料分析組（Human Rights Data Analysis Group）研究人員 Kristian Lum 的一項開創性的工作——演算法如何放大警務中的歧視性記錄，也表明了這一點。

來自普林斯頓大學的 Ruha Benjamin，最近出版兩本意義非凡的書：《追逐科技》（Race After Technology）和編輯本《迷人的科技》（Captivating Technology）。她與 Dorothy Roberts 、Alondra Nelson 等一眾學者強有力地研究了分類政治、如何利用種族來調整社會等級以及此類邏輯如何應用到 AI 技術中。

Kate Crawford 和 AI Now 藝術家研究員 Trevor Paglen 最近還在他們的 Training Humans 展覽中審視了分類政治。該展覽是第一個著眼於用來建立機器學習系統的訓練資料的大型藝術展，它研究了從 Woody Bledsoe 在1963 年所做的第一個實驗到最著名和使用最廣泛的基準集（例如 Wilded Labeled Faces 和 ImageNet）的 AI 訓練集的歷史和邏輯。

ImageNet Roulette 是與展覽一起使用的影片安裝和應用程式。

該程式在 9 月份風靡一時，成千上萬的人在上面上傳了他們的照片以檢視 ImageNet 如何對這些照片進行分類。此事件具有重大意義。ImageNet 作為一個規範的目標識別資料集，它在塑造 AI 的產業化方面比其他資料集更有潛力。

雖然 ImageNet 所做的一些分類很奇怪，甚至很滑稽，但資料集也囊括了極端問題的分類，其中很多是與種族主義和婦女歧視相關的。Imagenet Roulette 則為人們瞭解 AI 系統如何分類這些極端問題提供了一個介面，這實際上暴露出了 AI 系統在複雜和動態世界場景中所做的分類工作的狹隘性和高度格式化。Kate Crawford 和 Trevor Paglen 在發表的一篇調查性文章中，揭開了 AI 系統在多個基準訓練集上工作的面紗，進而揭示了這些系統存在的政治性架構。

這是為什麼藝術與科研的結合有時會比單個學科能夠產生更大影響的另一個原因，這也促使我們考慮：由誰來定義我們所屬的類別以及由此帶來的後果。

三、城市、監視、邊界

能源、分類和控制問題是今年美國在全國範圍內大規模部署企業監視系統的背景色。以亞馬遜的門鈴（Ring）為例，這就是一款監控攝像頭和門鈴系統，人們能夠用它來 24 小時監控家和附近地區。

亞馬遜正在與 400 多個警察部門合作推廣這款門鈴，並推動警察說服當地民眾來購買該系統，讓這些警察都變成有點像挨家挨戶上門推銷安防產品的銷售員了。

作為達成合作的一部分，亞馬遜能夠持續獲取影片內容；與此同時，警察也能夠訪問監控影片以隨時呼叫。亞馬遜目前已經對此申請了人臉識別專利，暗示他們具備將影片中的人臉與「可疑人員資料庫」進行比對從而有效地在全國範圍內建立私有化的家庭監控系統的能力。

但是這款門鈴僅是更嚴峻的監控問題的一個部分。正如 Burku Baykurt、Molly Sauter 和 AI Now 研究員 Ben Green 等學者所說的，「智慧城市」這一科技烏托邦式的言論，正在掩蓋更深層次的不公正和不平等問題。

如今，居民們也開始意識到這個問題。就在 8 月份，聖地亞哥居民就對安裝「智慧」燈柱進行了抵制；就在同一時間，香港居民也對「智慧」燈柱進行抵制。

今年 6 月，紐約州洛克波特市的學生和家長對學校使用人類識別系統進行抵制，這種人臉識別系統能夠讓該地區隨時追蹤和定位所有學生或老師的位置。現在，學校已暫停使用該系統。

而在 2 月份，在紐約一個大型聯合組織的施壓下，亞馬遜廢置了其在皇后區的第二個總部。組織者們強調，紐約不僅給亞馬遜提供了豐厚的激勵政策，還給其勞動者帶來了工作機會以及人臉識別技術部署及與 ICE 的簽訂合同的好處。這也給我們敲了一記警鐘：這些抵制活動其實是由多重問題引發的——尤其是當這些科技公司能夠從不同的部門攝取利益時。

而最不負責任地濫用這些監控工具的地區之一就是美國南部邊境，ICE、海關和邊境巡邏隊都在部署這類 AI 系統。

目前，有 52000 名移 民被關在監獄、拘留所以及其他限制人身自由的地方，40000 名無家可歸的人在靠近墨西哥的邊境等著提出庇護申請。在過去的一年中，已經有 7 名兒童在 ICE 的拘留中死亡，與此同時，還有許多兒童面臨食物不足和醫療資源匱乏的問題。這些正在發生的令人驚心的現狀，已無法用語言來形容。

根據宣傳組織 Mijente 的報告，我們知道亞馬遜和 Palantir 這樣的公司正在為 ICE 提供驅逐難民出境的引擎系統。而為了反抗，已經有來自十一所大學的超過 2000 名學生簽署了拒絕與 Palantir 合作的保證書。與此同時，已經與 ICE 簽約合作的科技公司總部幾乎每週都有抵制活動。

四、勞工，工會和 AI 

當然，當我們審視到 AI 領域的多樣性問題日益加劇時，種族、階級和性別等方面的結構性歧視問題也在暴露無遺。

4 月，AI Now 釋出了由博士後 Sarah Myers West 領導開發的歧視系統（Discriminate Systems），這項研究體現了 AI 內在的歧視性文化和 AI 系統中嵌入的偏見及歪曲事實之間的反饋迴路。這項發現令人震驚。

正如 AI 行業將自己標榜為財富和權力的紐帶一樣，AI 也正在變得更日益同質化。顯而易見，AI 整個領域存在一個普遍的問題。

但是，也有人不斷呼籲求變。爆料人 Signe Swenson 和記者 Ronan Farrow 曾推動揭示了 MIT 將地位和金錢置於女性安全之上的籌款文化。最早要求問責的人之一是來自肯亞的研究生 Arwa Mboya。她討要公道的做法，與從前沒有制度性權利的有色人種婦女為爭取權利發聲的方式非常相像，成為該事件的破曉之聲。當然，MIT 並非個例。

從谷歌罷工到 Riot game，再到微軟工人與 CEO 當面「對質」，我們已經看過了多家科技公司發聲的一系列罷工和抵制，他們的要求無一例外：消除工作中的種族和性別不平等。

或許大家都知道，今年早些時候，AI Now 聯合創始人 Meredith Whittaker 離開了谷歌。當時，她對行業的發展方向越發感到震驚：事情正在變得更糟，而非更好。因此，她和她的同事們開始圍繞工作場所中 AI 的負面應用和濫用進行梳理，其他老師和研究者也發揮了集體力量為他們提供了寶貴的意見。

另外，AI Now 的研究和許多其他學者的研究也為這項梳理工作提供了資訊，而這項梳理工作也為政治行動和組織提供了寶貴的指導。在此過程中，科技工作者發起的運動也在增多，其中多數運動取得了勝利，併為那些敢於站出來說話的抵制者積累了一些經驗。

合同工是這一事件的核心人物，他們是科技公司中最早組織抵制活動併為此類活動鋪路的群體之一。他們在科技公司的勞動力中佔了一半以上的比重，但是沒有得到全面的就業保障，並且收入通常只能勉強維持生計。Lilly Irani、Sarah Roberts、 Jessica Bruder 以及 Mary Gray 等學者的工作，有助於引起這些「影子勞動力」對此方面的關注。

用於員工管理的 AI 平臺也是一個日益嚴重的問題。從 Uber 到亞馬遜的倉庫，這些巨型自動化平臺指揮員工工作、設定績效目標並決定他們的工資，這就讓員工完全受制於 AI。

例如，在今年早些時候，Uber 在沒有任何解釋或警告的情況下，透過對其平臺更新暗自大幅削減了員工的工資。與此同時，外賣公司 Door Dash 被曝，毫不誇張地說——竊取了使用者以為存在了應用程式上的小費。

慶幸的是，我們也看到這些員工取得了一些重大勝利。例如 CA 的 Rideshare 司機在 AB-5 法中取得了巨大勝利，這項法案要求基於應用程式的公司向司機們提供全面的就業保障。對於這些員工而言，這為其現狀帶來了里程碑式的改變。

在美國東岸，Bhairavi Desai 正領導著她在 1998 年創辦的紐約計程車從業者聯盟（New York Taxi Workers Alliance）開展相關抵制活動，目前該組織成員已超過 21,000 人。她領導的首次抵制活動之一，在與共乘公司的對抗中贏得了勝利。

五、AI 對氣候的影響

而所有這些問題產生的背景都是氣候。需要整個地球的資源來進行的運算，也會對整個地球產生影響。

AI 極度耗費能源，並消耗了大量自然資源。在今年早些時候，來自阿姆赫斯特的研究員 Emma Strubell 發表了一篇論文，揭示了訓練 AI 系統所造成的大量碳排放。她的團隊表明，僅建立一個用於自然語言處理的 AI 模型，就可以排放多達 600000 磅的二氧化碳，相當於紐約和北京之間 125 架往返航班所產生的二氧化碳。

大型 AI 的碳排放，往往就暗藏於諸如「雲」此類的抽象產品。實際上，據估計，世界上的計算基礎設施的碳排放量與航空業差不多，在全球碳排放總量佔很大比重。

目前，針對該問題的抵制活動也在增多。就在本月，我們看到了空前的「跨技術部門員工行動」，他們都在為氣候問題抗爭。

他們要求科技巨頭到 2030 年實現零碳排放量，與燃料公司實現零合作，並且要求這些公司不再部署引發氣候問題的 AI 技術。

與此同時，我們也看到了大家對於 AI 的使用邊界以及氣候正義運動的共同關注。

總結：與日劇增的抵制之聲 

我們可以看到的是，一股逐漸增強的抵制浪潮席捲而來，從抵制「人臉識別必不可少」的言論到拒絕在家庭和城市各個空間中安裝追蹤技術：大量相關的抵制活動正在開展中。

顯而易見的是，AI 引發的主要問題是社會、文化和政治問題，而非技術問題。並且這些問題——從刑事司法到工人權利，再到種族和兩性平等，都有悠久且難以打破的歷史淵源。這就意味著，我們這些對 AI 的影響有所擔憂的人，需要找出已針對這些問題所做的相關工作並進一步開展，同時還要了解曾經為解決這些問題開闢了道路的成果的歷史。

定格在 2019 年的這些抵制之聲，也提醒我們：現在還有一扇窗的機會來決定哪些型別的 AI 是我們能夠接受的，以及如何讓 AI 自身負起責任。

編者注： 演講者在致辭中，對出席本次研討會的一眾嘉賓進行了介紹，AI 科技評論保留了對本文內容具有補充意義的一部分嘉賓介紹，而刪減了不對全文內容造成影響的另一部分嘉賓介紹。希望瞭解所有出席本次研討會的嘉賓的讀者可前往   閱讀原文。