被耽誤的模型：多方牽制下，一個高效的市政AI專案如何慘敗退場

大資料文摘出品

來源：Atlantic.com

編譯：Jiaxu、狗小白、雪清、Aileen

城市供水一直是美國密歇根州弗林特市的一大市政問題：該市有成千上萬的房屋仍然在使用鉛製管道，其中的毒金屬會逐漸滲入供水系統，給市民身體健康造成巨大威脅。

解決這個問題並不難：只要用更安全的銅管替換鉛管即可。

但是，沒人知道弗林特市的哪些房屋裝有鉛管。弗林特市的管道記錄不完整且不準確，而一個個把管道挖出來確認非常昂貴耗時。

這對於電腦科學家們來說是個典型的預測問題。因此，在谷歌的幫助下，志願者電腦科學家設計了一種機器學習模型，以幫助預測哪些房屋可能有鉛管。利用人工智慧預測，幫助市政部門通過已知條件，找到存在問題的管道，挖掘更換。

時間軸拉到2017年，工人們在這一模型的輔助下，檢查了8,833所房屋，對其中6,228所房屋進行了管道更換，準確率達到70％。

如此優秀的表現讓市政府對模型的作用大為讚賞，2018年，弗林特市政府簽約了一個大型的國家工程公司AECOM，投資500萬美元以“加速”該計劃進展。

弗林特市政府的投入當然有了回饋。“專案進行得很順利”，弗林特市市長Karen Weaver向記者這樣說，“我們的進度比預計快了一年，並且花銷完全控制在預算之內。”

顯然，不出意外的話，這一專案將很快完工，併成為機器學習輔助市政建設的典型案例。

但是，事情的發展卻和所有人的預期背道而馳。

2017年11月，根據當地新聞媒體MLive的Zahra Ahmad所作的會議記錄，該市的公共工作負責人估計弗林特的大約10,000個家庭仍存在鉛管，這一結論大致與其他專家的意見一致。

然而新承包商並沒能有效地找到這些管道：截至2018年12月中旬，在已探索的10,531處房產，只有1,567處已找到了需要更換的鉛管。鉛管的預測準確率在一年中下降到了15%。

專案減速當然是有原因的——AECOM放棄了引導挖掘的機器學習模型的預測結果，開始對城內選定街區的每個房子裡挖掘。

投資的數百萬美元打了水漂，在計劃的專案截止時間，弗林特市仍有數千人的房屋還有鉛管。

而在各方壓力下，一個高效的人工智慧模型慘敗退場。

弗林特市的鉛管更換專案本該是一個成功應用人工智慧，造福城市的故事。

相關科學家——喬治亞理工學院的電腦科學家Jacob Abernethy在10月份的谷歌AI for Good會議上，還雄心勃勃地描述：一個志願者團隊是如何構建該系統，以高效預測哪些家庭最有可能擁有鉛管。

電腦科學家發現，資訊系統不完善是該市的主要問題之上。確切地說，沒有人知道鉛管的具體位置。

弗林特市雖然留存了部分資料：成千上萬記錄包裹連結的舊卡片，以及多年前的地圖和小更新，但是其編目系統十分老舊；2016年2月，密歇根大學的Martin Kaufman利用城市記錄建了些城市鉛製管道標示的地圖。

McDaniel上校被指派負責這一專案，他的團隊決定利用這些地圖，再基於房屋建築年限和環境質量局對水汙染最嚴重的粗略估計，來初步土地開挖規劃先後次序。

McDaniel去了解了，哪些人更受到水源鉛過度的影響，答案是“年幼的、年老的和免疫系統較差的人群”，因此他們再優先考慮家中有5歲以下小孩和70歲以上老人的家庭建築。

綜合以上這些考慮因素，這個團隊大概有了動手的方向。

McDaniel首先在每10個小區域裡替換600個鉛製管道，他表示，這就是在權衡成本效率以及整個城市範圍內的公平性。

當Abernethy和他的同事，密歇根大學的Eric Schwartz在2016年夏天加入這個專案時，他們發覺這是一個熟悉的預測問題：在不確定情況下的連續性決策。專案組並沒有全部的資訊，但他們仍然需要對“接下來挖哪兒？”這一問題作出最好的解答。

每一次新的開挖結果又能反饋回模型來提高其預測準確性。

最初他們幾乎沒有資料。

2016年3月，只開挖了36家的管道。即使當專案組開始了成千上萬的挖掘，他們也只在挖可能存在鉛製管道的地方，也就意味著他們返回的資料是有偏差資料。只用這些資料，模型很可能高估弗林特市裡鉛製管道的數量。

於是，密歇根大學團隊要求Fast Start專案人員利用一個成本更低的系統“hydrovacing”(水流挖掘)來勘測鉛製管道，也就是不用挖土機，而是用水流來找管道。這些低成本的挖掘中返回的資料，使得研究者能夠更好更準確地判斷城市的不同區域。

隨著對模型的不斷修正，他們找到了最可能存在鉛製管道的三個重要的決定因素：房屋的建築年限、市場價值和位置。最重要的是，他們的模型對預測哪裡有鉛製管道變得非常準確，在2017年間，承包商找到鉛製管道的命中率不斷提高。

McDaniel告訴我，“我們在2017年年底達到了80%以上的模型預測準確性”。

2018年12月4日弗林特市市長舉行關於該市鉛管更換進展的新聞釋出會

在2017年年底，Weaver宣佈弗林特市要與國家最大的幾家承包商之一——AECOM簽署5百萬美金的合同，來運作這個專案。

AECOM釋出的計劃稱，他們意圖“每年高效地找到和替換6000條鉛製管道”。

這個目標很合理，因為2017年裡無組織而絕大部分都是志願管理的團隊，已經找到且替換了6000條運作的鉛製管道。

正如在社群論壇會議上表明的那樣，承包商接下來將分兩步走：首先，他們將對承包商圈出的10塊區域進行水流挖掘。之後，當找到鉛製管道後，他們會開挖，替換鉛製和鍍鋅鋼的管道。

但AECOM團隊，在正式開始之前就遭遇了滑鐵盧。

阻撓力一：交接問題。

2018年10月下旬，專案經理Alan Wong向我透露，在McDaniel團隊與AECOM團隊交接工作的時候就開始出現問題：Wong的團隊本應緊接著McDaniel那邊合同到期，在2017年10月就開始工作，但AECOM的合同直到2017年12月28日才真正簽署下來。“我們本可以有10月、11月和整個12月來磨合出一個順利的交接過程，但它沒能實現。”

此外，AECOM似乎完全沒有繼續使用專案最核心的預測模型。

據一次法庭宣告，在最後看似積極樂觀的幾次討論後，來自密歇根大學的Schwartz從2018年1月到5月發了5封郵件給Alan Wong，但沒收到一封回信。

Wong表示，他們公司拿到的只是一張圖片格式的城市熱力圖。但是另一邊的Schwartz表示，他們團隊提供了包含城市中所有地址裡可能存在的高可能性地點的完整資料庫。

AECOM幾乎是完全從頭開始進行這個專案。專案團隊開始重新面對專案最初的問題——數字化工程。Wong聲稱其公司無償做的將資料電子化的工作按計劃本應在1月完工，但實際直到5月才真正完成。

阻撓力二：模型解釋性問題。

與此同時，Weaver要求AECOM對城市裡所有地區，每一個區域都進行勘測。

Wong回應稱，市政管理者不想向市民解釋為什麼他們的區域裡沒有勘測行為。於是AECOM就全市範圍內劃出10塊區域，最開始在每塊區域裡給下游承包商都劃了約600個需要勘測的地址。

但問題是，鉛製管道並非均勻分佈於城市中。

真正找出來的鉛製管道數量、密歇根大學模型的預測結果，以及城市記錄、建築歷史資料，都清晰地表明，這些鉛製管道集中在小部分範圍裡，絕大多數都分佈在城市核心的老舊城區，比如第五區，而像第二、第四或第七區這些外圍區域裡的鉛製管道分佈很少。

阻撓力三：實際施工中的“公平性”問題。

接著，2018年年中的時候，人們在原本應該是銅製的管道中發現了一些鉛。通常情況下，水流挖掘系統“鑽”出的洞口要比挖土機挖出的小，但這會留下一些難以注意到的鉛屑。

市長決定放棄最初決定的水流挖掘系統，轉而採用黃金標準的傳統方法。“你能得到100％的保證，而這就是我們的價值”，Weaver告訴我。

AECOM曾計劃在全市範圍內安裝水流挖掘系統，以此作為識別鉛的一種手段，這一變化無疑給該公司的計劃蒙上了一層陰影。

其他的變化也相伴而來。市長決定在專案官員認為可能會找到鉛的地區對每一處房屋進行挖掘，而不是跳過那些模型顯示可能沒有鉛管道的房屋。

“當我們開始做這個時，人們會說，‘你們檢查了我鄰居的房子卻沒有檢查我的’”，Weaver說。

“這座城市不想讓任何人掉隊”，Wong告訴我。

這在政治上是有道理的，但它不僅大大增加了“修復專案”的成本，還對該專案抽離城市剩餘的鉛管道的速度有嚴重影響。在弗林特的外圍區域，一片片的房屋被挖掘，但並沒有發現鉛，如下圖所示的10區東部區域，藍色代表銅管，紅色代表鉛或鍍鋅鋼管。

在該地區有數百戶人家的管道被挖掘，但它們都不是由鉛或鍍鋅鋼製成的。

圖注：2018年管道挖掘活動的地圖，銅管顯示為藍色，鉛或不鏽鋼管為紅色。在框出的三個區域內，承包商挖掘了大量的房屋，卻幾乎沒有發現鉛管。（弗林特市）

一項新的指令已經開始下達：以最密集的方式挖掘城市中每一個活躍的用水地帶。否則，市民們可能會一直懷疑自家是否有鉛管。

“專案經理需要告訴市民們必須相信計算機模型”，Wong告訴我，“而市民們是不會買賬的”。

為什麼花了重金投資的AECOM公司的準確率會低於2017年鬆散的志願者團隊（McDaniel）？

這個問題不難解釋。

McDaniel在該市鉛濃度最高的地區工作，他的團隊通常遵循模型的預測；AECOM和市政府則在整個弗林特搜尋，沿著某些街區檢查每棟房子。

此外，該市的鉛管服務線路比原先估計的要少：早期的估計是2萬至3萬根城市管道由鉛或鍍鋅鋼製成，事實證明這個數字太高了。

美國自然資源保護委員會(NRDC)一直在起訴該市實施該專案的方式，認為其調解書上的核心優先事項——去除鉛——已經被擱置。即使考慮到上述因素，承包商發現鉛的比率也已經急劇下降，無法用專案合理的後勤調整來解釋。這不必要地延長了市民家中鉛管存在的時間。

Schwartz在一份法庭檔案中估計，該市有4,964至6,119戶房屋存在危險管道。下面的地圖中，紅色部分顯示人工智慧研究人員預測安裝有危險管道的可能性超過90％的區域；藍色部分表示不太可能有鉛或鋼管的區域。

圖中的小黑點則是AECOM團隊在2018年11月完成的工作。如果模型大體上是正確的，那麼稍稍一瞥可以發現，他們的工作恰恰避開了最有可能需要更換輸水管道的地區。

圖注：一個家庭擁有鉛管(紅色)或銅管(藍色)的可能性的地圖；黑色表示城市的挖掘活動。

“令人不安的是，政府無法解釋他們是如何選擇挖掘區域的”，NRDC律師Dimple Chaudhary說道。“這個模型在描述‘這裡有鉛’這方面做得很好，並且說明了他們正在錯誤的地方挖掘。”

舉個最突出的例子，預計第五區（全市一共被分為3,774 個區）將有最多的鉛管道。密歇根大學(University of Michigan)的模型估計，工作人員在該地區發現鉛的機率為80%。

然而，從2018年1月到8月，AECOM承包商在那裡進行了最少的挖掘工作，在該地區總共只進行了163次挖掘，而在其中156次中發現了鉛管——佔了將近96%。與此同時，在第二區對1,220所房屋進行了調查，其中只有46個發現了鉛，只有4％的命中率。AECOM在Schwartz和Abernethy的模型預測的含鉛管道比例最小的兩個區挖掘得最多，結果驗證了模型的預測。

看到這些資料，為承包商的工作提供補償的州政府表示，由於該專案的管理方式，它將暫停向市政府撥款。“市政府像是做出了一項政策決定，停止優先挖掘那些預計會發現鉛或鍍鋅鋼服務管道的房屋”，司法部指出。

現在，弗林特市政府，自然資源保護委員會(NRDC)，州政府和AECOM公司正在就回歸到2017年使用的機器學習模型進行談判。AECOM的合同已經更新，似乎包括了迴歸到機器學習模型。另外將有110萬美元的撥款用於該公司今後的工作。

市政府官員在實施一項雄心勃勃的、艱難的計劃方面做出了真誠的努力：Weaver做出了重要決定，他認為這些決定保護了她所在城市所有居民的健康和安全；AECOM聲稱它已盡力而為。

但是，儘管誠意滿滿，一個事實卻不容忽視：當初只要繼續實施2017年計劃的方法，在2018年也許可以將幾乎所有剩餘的鉛都抽離這座城市。

現在，弗林特市依然有超過千戶家庭，在飲用水的時候對毒鉛會憂心忡忡。

相關報導：

https://www.theatlantic.com/technology/archive/2019/01/how-machine-learning-found-flints-lead-pipes/578692/