作者 | AI Now學院

譯者 | Raku

編輯 | Jane

【導讀】10月2日，紐約大學AI Now學院在紐約大學斯克博劇院（Skirball Theatre）組織召開了第四屆年度AI Now研討會。研討會邀請了業內組織者、學者和律師帶來演講，並共同登臺探討相關工作，這次研討會圍繞五大熱議話題，重點探討了AI負面影響以及不斷擴大的抵制聲潮。

五大熱議問題：

• 面部與情感識別

• 從“AI的偏見”向公正的轉變

• 城市、監控、邊界

• 勞動力、工人組織與 AI

• AI 對氣候的影響

第一個小組討論了AI在警務與邊境控制中的用途；第二個小組與布魯克林的租戶組織者進行了交談，他們反對房東在建築物中使用面部識別系統；第三個小組以民權律師為由起訴密歇根州，該小組使用了錯誤且有偏見的演算法；最後一個小組討論的重點是藍領技術人員，從亞馬遜倉庫到演出經濟驅動程式，向小組人員講解他們在過去一年中的組織和重大成就。

AI Now聯合創始人凱特·克勞福德（Kate Crawford）和梅雷迪斯·惠特克（Meredith Whittaker）以總結一年來關鍵時刻的簡短講話作為開場白，研討會上有四個小組在研討會上發表了看法，以下是他們演講的摘錄。

1、面部與情感識別

2019 年，公司和 政府都紛紛加大在公共住房、招聘和城市街道中推廣人臉識別的力度。現在，一些美國航空公司甚至也用此來代替 登機牌，聲稱這樣會更方便。

同樣，情感識別也得到了更廣泛的應用，透過解釋面部的微表情來“讀取”我們的內在情緒。正如心理學家麗莎·費爾德曼·巴 雷 特（Lisa Feldman Barret）在一份廣泛的調查報告中所表明的，這類人工智慧相貌學沒有可靠的科學基礎。但是，它已經在課堂和工作面試中，在人們不知情的情況下被使用了。

例如，喬治敦（Georgetown）隱私和技術中心獲得的檔案顯示，未經個人同意或未經州、聯邦立法者的授權，FBI和ICE一直在悄悄訪問駕照資料庫，對數百萬張照片進行面部識別搜尋。

但是今年，隨著ACLU的Kade Crockford、羅切斯特理工學院的Evan Selinger和東北大學的Woodrow Hertzog等學者和組織者呼籲對嚴格限制使用面部識別後，選民和立法者對這項技術的使用也開始採取相應的舉措。第九巡迴上訴法院最近裁定，Facebook可能因未經使用者許可對照片進行面部識別而被起訴，稱這是對隱私的侵犯。

由於媒體正義組織（Media Justice）等組織的領導，今年5月，舊金山簽署了第一個面部識別禁令，隨後另外兩個城市也開始禁止面部識技術的應用。並且現在有一位總統候選人承諾全國範圍內的禁令；很多音樂家要求在音樂節上停止面部識別；還有一項名為《禁止生物特徵住房壁壘法案》的聯邦法案，其目標是在公共房屋中進行面部識別。

同樣，面試識別的應用在歐洲也不順利。英國議會委員會要求停止對面部識別的試驗，直到建立法律框架為止，而且最近發現布魯塞爾警方對這些AI工具的使用是非法的。

當然，這些改變需要大量的工作。而且還要明確一點，這不是需要完善技術或是消除偏差的問題。考慮到對監視、跟蹤、逮捕的人種和收入的差異，即使是非常準確的面部識別也會產生危害。正如凱特·克勞福德（Kate Crawford）最近在《自然》雜誌上寫的那樣——消除對這些系統的偏差並不是重點，它們“發生錯誤時是危險的，成功了則是有害的”。

2、從“AI的偏見”向公正的轉變

今年，我們還看到了一些重要的變化，從只 關注技術層面的人工智慧“去偏見”，轉向對司法公正的實質性 關注。

許多令人不安的事件在一定程度上推動了這一點。

例如，密歇根州的前州長裡克·斯奈德（Rick Snyder）是一位技術主管，同時也是弗林特水危機的負責人，他決定在全州範圍內安裝一個自動化決策系統，稱為MiDAS。它旨在自動標記涉嫌福利欺詐的工人。為了削減成本，該州安裝了MiDAS並解僱了整個欺詐檢測部門。但事實證明，93％的時間MiDAS系統都會出錯。錯誤地指控了40,000多名居民，從而引發了許多破產乃至自殺事件。但是，MiDAS只是緊縮政策的一部分，這些政策旨在讓窮人成為替罪羊。

AI Now政策總監Rashida Richardson負責一個案例研究警察日常工作與預測性警務軟體之間聯絡。她和她的團隊發現，在美國各地的許多警察部門中，預測性警務系統可能會使用來自種族主義和腐敗的警務記錄。

顯然，在這種情況下糾正偏差與刪除資料集中的變數無關，需要改變的是警察製作資料的做法。人權資料分析小組的研究人員克里斯蒂安·盧姆（Kristian Lum）在她開創性工作“演算法如何放大警務中的歧視性”問題中也表明了這一點。

最近，凱特·克勞福德（Kate Crawford）和AI Now藝術家研究員特雷弗·帕格倫（Trevor Paglen）還在他們的Training Humans展覽中探討了分類政治，這是首個 關注建立機器學習系統的訓練資料的大型藝術展覽。這個專案從1963年Woody Bledsoe的第一個實驗，到最著名和使用最廣泛的基準集，如Wilded Labeled Faces和ImageNet，回顧了AI訓練集的歷史和邏輯。

今年9月，數百萬人上傳了他們的照片來看他們將如何被ImageNet分類。這是一個具有重大意義的問題。ImageNet是規範的物件識別資料集。它在塑造AI產業方面做得比其他公司都多。

雖然ImageNet的一些類別很奇怪，甚至很有趣，但資料集也充滿了極具問題的分類，其中許多是種族主義者和厭惡婦女主義者（misogynist）。Imagenet Roulette提供了一個介面，使人們可以檢視AI系統如何對它們進行分類。克勞福德（Crawford）和帕格倫（Paglen）發表了一篇調查文章，展示了他們如何在多個基準訓練集上揭開它們的面紗，以揭示其體系結構。

這也是為什麼藝術和研究結合在一起有時比單獨時更有影響力的一個原因，這讓我們考慮由誰來定義我們所處的類別，以及會產生什麼後果。

3、城市、監控、邊界

能源，分類和控制問題是今年在美國大規模部署公司監視系統的前景。以亞馬遜的Ring為例，它是一款監控攝像頭和門鈴系統，旨在讓人們能夠7*24小時全天候監控家和附近地區。

亞馬遜正在與400多個警察部門合作推廣Ring，希望警察說服居民購買該系統，這有點像把警察變成挨家挨戶推銷安防系統的銷售員。

作為交易的一部分，亞馬遜將持續獲得影片片段；警察可以隨時呼叫他們想要的監控的影片。該公司已經在這一領域申請了人臉識別專利，這表明他們希望能夠將攝像頭拍攝的物件與“可疑人員資料庫”進行對比，從而有效地在全國範圍內建立私有化的家庭監控系統。

但是Ring並不是解決這個問題的最佳方案。正如Burku Baykurt，Molly Sauter和AI Now研究員Ben Green學者所表明的那樣，“智慧城市”的技術烏托邦式言論掩蓋了更深層次的不公正和不平等問題。

居民小區也在考慮這個問題。8月，聖地亞哥居民抗議安裝“智慧”燈杆。今年6月，紐約州洛克波特市的學生和家長抗議學校使用面部識別系統，該系統能夠隨時追蹤和繪製任何學生或老師的資訊，目前此係統已暫停使用。

這些工具最被濫用的地區之一是在美國南部邊境，在那裡，ICE，海關和邊境巡邏隊正在部署AI系統。目前，有52,000名 移 民被關在監獄、拘留所或其他限制自由的場所，還有4萬名無家可歸者在邊界的墨西哥一側等待庇護。到目前為止，在過去的一年中，有7名兒童在ICE羈押期間死亡，許多兒童面臨的食物和醫療不足。這些恐怖的事情確確實實在發生。

根據倡導組織Mijente的一份重要報告，我們知道，亞馬遜(Amazon)和Palantir等公司正在為ICE驅逐難民提供出境理由。為了反對以上的行為和組織，有數十所大學的2000多名學生簽署了不與Palantir合作的承諾，在與ICE簽約的科技公司總部，幾乎每週都有抗議活動。

4、勞動力，工人組織與AI

當我們審視AI領域日益增長的多樣性問題時，種族，階級和性別等方面的結構性歧視問題將得到充分顯示。

4月，AI Now釋出了由AI Now博士後Sarah Myers West負責的Discriminate Systems。這項研究展示了AI內部歧視性文化與AI系統中嵌入的偏差與歪曲事實之間的反饋迴路。調查結果令人震驚，正如AI行業將自己確立為財富和權力的紐帶一樣，它也變得更加同質。這一領域顯然存在一個普遍的問題。

但是也有越來越多的人呼籲變化。最早呼籲問責的人之一是肯亞研究生阿瓦·姆博雅（Arwa Mboya）。從Google 罷工到Riot Games，再到與CEO面對面的Microsoft員工，我們已經看到了多家科技公司的一系列罷工和抗議，所有都要求消除工作中的種族和性別不平等。

現在，AI Now聯合創始人梅雷迪思·惠特克（Meredith Whittaker）於今年早些時候離開了Google。她對行業的發展方向越來越感到震驚，事情變得越來越糟，而不是更好，因此，她和她的同事們開始圍繞工作場所中AI的不當使用和濫用等現象展開行動。

用於工人管理的AI平臺也是一個日益嚴重的問題。從Uber到Amazon倉庫，這些龐大的自動化平臺指導員工行為，設定績效目標並確定員工工資，使員工幾乎沒有控制權。例如，今年早些時候，Uber大幅削減了工人的工資，沒有任何解釋或警告，而是透過對其平臺的更新悄悄地實施了這一變更。

幸運的是，我們也看到了這些工人的一些重大勝利。CA的Rideshare工人在AB-5法中取得了巨大勝利，該法案要求基於應用程式的公司向駕駛員提供全面的就業保護。與現狀相比，這是一個巨大的變化。

5、AI對氣候的影響

所有這些問題的背景都是氣候。

AI非常耗能，並消耗大量自然資源。來自Amherst的研究員Emma Strubell在今年早些時候發表了一篇論文，揭示了訓練AI系統的巨大碳足跡。她的團隊表明，僅建立一種用於自然語言處理的AI模型，就可以排放多達600,000磅的二氧化碳，相當於往返紐約與北京125次飛行的耗能。

大型AI的碳消通常被隱藏在諸如“雲”類產品背後。實際上，據估計目前世界的計算基礎設施所的碳排放量與航空業一樣多，佔全球排放量的很大比例。

不斷湧現的抗議聲音

大家可以看到越來越多的抵制AI濫用的浪潮湧現。

很明顯，人工智慧引發的問題是社會、文化和政治問題，而不僅是技術問題。這些問題，從刑事司法到工人權利，再到種族和兩性平等，都有悠久的歷史。

2019年的AI技術的濫用提醒我們，還有一個機會來決定接受哪類AI以及如何使其承擔責任。視覺化時間軸中所代表的組織，立法和獎金涵蓋了過去一年中抵制AI的負面影響和無法說明的技術力量的一些關鍵時刻。這不是詳盡的清單，而是工作人員、組織者和研究人員積極抵制AI負面影響的某些方式的快照。

原文連結：

.com/@AINowInstitute/ai-in-2019-a-year-in-review-c1eba5107127