和AI談倫理、道德和謊言

關於 AI，有哪些你該瞭解卻從沒想過的問題？

過去幾年，我們一直在討論人工智慧將如何拯救或摧毀世界：自動駕駛汽車有利於保護我們的生命嗎？機器人會讓我們失業，並喪失勞動能力嗎？AI 熱潮中的種種困惑，都難有定論。

在這篇文章中，科技部落格 Medium 知名作者 Yonatan Zunder 結合自己在 Google 的十餘年工作經歷，釐清了幾個關於 AI 的現實問題，關乎技術，也關乎倫理、道德和謊言：

AI 和機器學習是一回事嗎？

AI 需要下多少次判斷，才能從三文魚中分辨出金槍魚？

為什麼「拿起汽水瓶」、「在房間內走路」對 AI 來說是高難度係數動作？

為什麼在 AI 面前，我們需要保持誠實？

我們會為自己的行為尋求合理化解釋，AI 會嗎？

這是一篇深度與趣味性俱佳的科普長文，希望能夠對你有所啟發。劇透一下：人工智慧最大的挑戰並不是解決技術難題，而是它迫使我們在程式設計時就不得不非常明確地表達我們的目標。可有的時候，我們不想對自己說實話。

374 個問題後，

AI 終於從三文魚中分出了金槍魚

「人工智慧」這個詞語太可怕了，它被認為能夠做「任何電腦還無法做到的事情」，比如下象棋、模擬對話、識別影像等等。「人工智慧」每實現一次突破，它的邊界就隨之移動一次。 它與人類定義自己的方式（那些讓人類與其他物種不同的特質）太過相似。所以，人們有時會使用「機器學習」這個術語來替代它。

那麼，人工智慧或者機器學習到底是什麼？

從嚴格意義上說，機器學習是「預測統計學」領域的一個組成部分：建立一個系統，讓它能夠獲取過去發生的事情的資訊，並利用這些資訊建立模型，預測相關環境下未來可能發生的事情。它既可以像「當你把車輪轉向左邊，車子也往左轉」那樣簡單，也可以像試圖瞭解一個人的全部生活和品味那樣複雜。

這張圖可以讓我們瞭解 AI 系統的運作：

▲  AI 系統運作方式示意                                    

這個系統的作用方式是，從感知世界的感測器（Sensors）中形成對特徵（Features）的認知，建立模型（Model），來告訴人們世界是如何工作的，以及人們採取行動將會產生什麼後果。

在部分 AI 系統中，「特徵」只是原始的認知，例如攝像頭所看到的顏色。它不會對「什麼特徵重要、什麼特徵不重要」有任何先入之見，但會讓 AI 模型變得難以構建。能夠處理如此大規模資訊的計算系統，直到最近十年才出現。而在另一部分 AI 系統中，「特徵」則是模型設計者認為有用的那部分資訊。

接下來，「模型」通常會向我們展示很多種可能結果，以及它對每種可能性的理解。如果你想讓 AI 做出決定，那就需要為它設定一些規則。例如，告訴它去「挑選最有可能成功的人」，或者「挑選最不可能導致災難性失敗的人」。

舉個例子來說，你可以想象一個非常簡單的「模型」：舊蒸汽機上的機械調節閥。它遵照的規則是：如果感測器讀取到的壓力值超過某個設定值，調節閥就會開啟一個閥門，否則就關閉閥門。 

這個規則非常簡單，因為它只需要參考一個輸入、做出一個決定。但如果需要依賴於成千上萬、甚至數百萬的資訊去決定更復雜的事情的話，你就會發現，設定規則這件事很不簡單。

比如，如何控制一輛汽車（這取決於視覺、聽覺等等）？或者哪個網頁可以提供關於樹袋熊養殖問題的最佳答案（這取決於你是一時興起，還是專業的脊椎動物愛好者，以及該網站是由充滿激情的愛好者所創辦，還是隻想賣給你廉價的樹袋熊壯陽藥）？這些事都要依靠數百萬、甚至數千萬的資訊來做出決定。 

AI 模型是專為處理複雜資訊而設計的。在任何 AI 模型裡都有一系列的規則來綜合所有特徵，有成百上千個單獨的「旋鈕」來指導模型做出決策，告知它在不同情況下如何權衡每個特徵的重要性。

例如，有一種叫做「決策樹」的 AI 模型，它看起來像是一個關於 Yes/No 問題的巨樹。如果它的任務是從三文魚中分出金槍魚，那麼它提出的第一個問題可能是，「影像的左半部分比右半部分更暗嗎？」而最後一個問題大概是，「根據之前的 374 個問題的答案，這個正方形中的平均顏色是橙色還是紅色？」

▲ 決策樹示意圖

「旋鈕」決定了模型詢問問題的順序，以及每個問題的「是」和「否」之間的界限。你不可能一口氣找到一個能夠可靠地分辨三文魚和金槍魚的正確問題組合，這裡有太多可能性了。所以，在開始時，AI 模型的執行是「訓練模式」，通過一個又一個的例子調整「旋鈕」，在每次出現錯誤後自我糾正。隨著所看到的例子的增多，它從偶然性中找到關鍵所在的能力也就越強。

與人類相比，AI 的優勢並非決策速度。AI 通常需要幾毫秒來作出決定，人大概也需要這麼長時間。它真正的優勢是，始終不會覺得無聊或分心。它可以在不同的資料片段上連續做數百萬或數十億次決定。這意味著，它可以被應用於解決人類不擅長的問題，比如駕駛汽車。

人類駕駛汽車的表現非常糟糕。2015 年，僅美國就有 35,000 人因車禍死亡。這絕大多數是由於駕駛員分心或失誤造成的。駕駛需要巨大的專注和快速反應能力，並且持續保持幾個小時。事實證明，我們經常做不到。

當人們談論在專案中使用 AI 時，他的意思通常是，將專案分解成上面的流程圖，然後構建出正確的 AI 模型。這個過程始於收集訓練模型所需的例子（這通常也是最困難的任務），然後是選擇模型的基本形狀（即「神經網路」、「決策樹」等針對不同問題的基本模型）並進行訓練；再之後是最重要的事——弄清楚什麼是壞的，並對其進行調整。 

打個比方，看看下面的六張圖片，找出前三張和後三張的關鍵區別：

▲ AI 關注的特徵，可能不是你真正關心的東西

如果你猜「前三張都有地毯」，那麼你猜對了！如果你猜「前三張是灰貓的照片，後三張是白貓的照片」，你也是對的。但如果你使用這些影像來訓練你的灰貓探測器，那麼在現實中，這個 AI 模型的表現會很糟糕，因為它實際學到的是，「灰貓就是地毯上一些類似貓形狀的東西」。

當你的模型學習到了訓練資料的特徵，但這些特徵卻不是你真正關心的東西的時候，就會出現「過擬合」。大部分時間裡，構建機器學習系統的人都在擔心這個問題。

什麼使某本書成為了「好小說」，

AI 也無法回答

接下來，我們來談談 AI 究竟是有用還是無用。

如果你想要實現的目標、實現這些目標的手段都很清晰，這種問題就不需要 AI 來解決。 例如，如果目標是「將車輪上的所有螺母擰緊到 100 英尺磅」，你只需要一個能夠擰緊和測量扭矩的扳手，並在扭矩達到 100 英尺磅時停止擰緊就好。如果有人要給你提供一個 AI 扳手，你會問他們，我為什麼需要這個？ 這降低了 AI 的閾值。

再比如，對機器來說，想要實現和人類一樣的「運動規劃」是非常困難的。我們的大腦付出了比其他事情多兩倍的專注來做這件事。

現在拿起一個你旁邊的物體，比如一個空的汽水罐，觀察你的手臂是怎樣運作的。

我的觀察是：胳膊快速地沿肘部轉動，將手從鍵盤上水平移動到離汽水罐幾英寸的垂直位置，然後迅速停止。接下來，它向前移動，以比第一個動作慢得多、但其實還是很快的速度，把手掌開啟的微大於罐頭的直徑。直到拇指出現在其他手指的對面後，手掌合攏，並在遇到阻力時立即停下。然後，手臂開始抬起，從肩膀起（保持肘部固定）就保持收緊狀態，讓手牢固地握住罐子但又不使罐子變形。 

同屬此類的其他任務還有面部識別（大腦的視覺功能大部分不是通用視覺，而是專門用於識別臉部的）。我們感覺這些事情並不難，是因為我們的大腦中有一大塊專注於認識面孔。如果沒有，我們看人就會像看犰狳一樣。現在計算機正是如此。

▲ 「運動規劃」對 AI 而言是件難事

那麼，AI 能夠幫助你解決哪些問題？

我的回答是：目標明確，但實現目標的手段不明確的問題。

具體來說，有以下幾個條件：

• 外部刺激的數量有限，模型能夠了解它們；

• 必須控制的元素數量有限，我們不需要考慮過多；

• 要做的決定數量很大，我們不太容易直接寫下規則；

• 能夠很容易的把一個動作和一個可觀察的結果聯絡起來，因而可以很容易地弄清楚什麼奏效，什麼無效。

比方說玩一盤賽車遊戲。開始時，你行動的後果是非常明顯的：當你應該轉彎的時候，你就要轉彎，如果你撞到牆上，遊戲就結束。但當你更擅長比賽之後，你就會開始意識到，「糟糕，我錯過了一個重要的升級，五分鐘後我就要完蛋了」。你可以預見到更久之後的後果了。AI 可以加速這個理解的過程。

我們談到了目標和手段都很清楚的情況，以及目標清楚但手段不清楚的情況。還有第三種情況，AI 根本無法幫助。那就是，連目標本身都沒有被很好地理解。

計算機不善於自我欺騙，它程式設計的第一條規則是：如果你想要他們做某件事，就必須向他們解釋你想要的東西。 但實際上，很多時候我們都不知道「好目標」的真正定義。在這種情況下，你怎麼知道你是否成功了？

綜合起來，對 AI 來說，實現目標的難易程度從易到難依次是：

• 環境可預測，直接目標明確。例如在一條很快就會出現汽車的裝配線上，一臺 AI 感測器的目標是識別到車輪。

• 環境不可預測，直接目標明確。例如自動駕駛汽車，目標可以直接描述為「從 A 點安全行進到 B 點，且速度合理」，但過程中可能包含許多意外。AI 在過去幾年裡剛剛發展到可以向這些問題發起衝擊的地步。

• 環境可預測，目標較間接，和行為之間的關係非常遙遠。比如計劃你的財務組合。這是一個比較棘手的問題，我們還沒有取得重大進展，但是我希望我們能夠在未來十年內把這些做好。

• 目標不明確。 AI 無法解決這些問題。寫小說就是一個例子，因為沒有一個明確的答案可以回答，什麼使某本書成為「好的小說」。

AI 的倫理與現實世界：

別對我說謊

這裡有六個可供思考的例子。它們主要的幫助不在於給出了正確答案，而是提出了正確的問題。 

▍乘客和行人 

一輛自東駕駛汽車正在穿過一座狹窄的橋。這時，一個小孩突然從前面跑出來。汽車停下來已經太遲了。它能做的只有前進，將小孩撞飛，或者轉彎，把自己和乘客送到下面奔流的河裡。它應該怎麼做？ 

這個問題已經被公開討論過了，它展示了我們真正需要問的問題。

▲ 自動駕駛能夠規避由於駕駛員分心或反應慢而造成的危險

當然了，我們承認這個問題有一個漏洞——它在實踐中出現的概率很小，因為自動駕駛汽車從一開始就會規避這種情況。大多數情況下，這種情況的發生要麼是因為駕駛員的反應不夠快，無法處理從障礙物後面跳出來的孩子，要麼是駕駛員出於某種原因分心，注意到孩子的時候已經太遲了。但這些問題對於自動駕駛來說都幾乎不存在。

但「幾乎從不」與「絕對不會」並不一樣。我們不得不承認，有可能會發生這種情況。當它發生時，車應該做什麼？

如果是人為駕駛，我們或許會說，「這取決於當時的情況」。但現在，自動駕駛的程式設計裡留下了一個空格，它要求我們在事故發生前就給它答案，然後它會按照我們告訴它的做。這就要求我們對自己想要的決定保持殘酷的誠實。

▍禮貌性地編造 

AI 模型有一個非常討厭的習慣：他們會分析資料顯示給他們的東西，然後告訴你他們學到了什麼。

2016 年，高中生卡比爾·艾力（Kabir Alli）試圖在 Google 上搜尋「三個白人青少年」和「三個黑人青少年」。他得到的結果很糟糕。「三個白人青少年」展現了迷人的、運動型的青少年身影；「三名黑人青少年」則顯示了三名黑人青少年被捕的新聞報導中的照片。（現在，搜尋結果大部分都是關於這個事件的新聞報導。）

▲ 比爾·艾力（Kabir Alli）的搜尋結果

這並不是因為 Google 的演算法中存在偏見，而是底層資料就自帶偏見。這種特殊的偏見源自「無形的白人主義」和媒體報導的結合。如果三名白人青少年因犯罪被捕，媒體不太可能展示他們的照片，也不太可能特意提出他們是「白人青少年」。但如果三名黑人青少年被捕，你可以找到在上面提到的新聞報導中出現的那句話。

許多人對這些結果感到震驚，因為這似乎與「忽視種族」的國家觀念不一致。但資料明確顯示了，當人們用高質量的影像在媒體上說「三個黑人青少年」時，他們總是把這些孩子作為罪犯在談論，而當他們談到「三個白人青少年」，幾乎都是廣告攝影。

如果你手動地輸入「忽略種族」的特徵，這些特徵仍然會通過後門進入。例如，某人的郵政編碼和收入可以非常準確地預測他的種族。AI 模型很快就會將其視為「最好的規則」。

AI 模型在我們面前舉起了一面鏡子，它不明白我們什麼時候不想誠實。它只會禮貌性編造，如果我們告訴他們如何提前撒謊的話。 

一個例子是最近的一篇關於「文字去除」的技術論文。一個叫做 word2vec 的 AI 模型學習了英語單詞含義之間的各種關係（比如「國王對男性」，「女王對女性」），之後發現模型中包含了不少社會偏見的例子。例如，「電腦程式設計師對男人來說，就像家庭主婦對女人一樣」。

進而，作者在論文中提出了一種消除性別偏見的文字去除技術。 模型的整個程式相當合理的：首先分析單詞，找到沿著性別軸線對立性分開的單片語；接下來，找一組人去辨別哪些對應關係是有道理的（例如男孩對男人/女人對女人），以及哪些對應關係中代表了社會偏見（譬如程式設計師對男人/家庭主婦對女人）；最後，運用數學技術從模型中去除了帶有偏見的片語，留下了一個改進後的模型。 

但這個過程並不是完全依靠自動化的模型來完成的。確定哪些男性/女性分化應該被刪除的關鍵步驟是人為的決定。

原來的模型來自對世界各地數以百萬計的書面文字的分析，準確地捕捉到了人們的偏見。而清理後的模型則準確地反映了評估者認為哪些偏見應該被刪除的偏好。說修改後的模型更準確地反映了世界是什麼樣的，那是不對的。

▍大猩猩事件

2015 年 7 月，當我擔任 Google 社交工作（包括照片）的技術負責人時，我收到了一個緊急資訊：我們的照片索引系統公開把一個黑人和他的朋友的照片描述成為「大猩猩」。我立即給團隊打電話。團隊採取行動，禁用了違規表徵以及其他幾個有潛在風險的表徵。

許多人懷疑，這個問題和六年前惠普的臉部攝像機不能在黑人身上工作的問題，有一樣的原因：「面孔」的訓練資料完全是由白人組成的。我們開始也這麼懷疑，但很快就排除了這個原因，因為訓練資料包括了各種種族和膚色的人。

出現這個問題的真正原因很微妙。

首先是人臉識別很難。面孔的相似性比我們想象的要大得多——甚至是跨物種之間。這個照片索引系統也容易把白種人的臉誤認為是狗和海豹。

第二個問題是核心：機器非常聰明，但除非你教導它，否則它對於更廣泛的世界一無所知。沒有人會向它解釋黑人因為被歧視而長期被比作猿人。這個背景使得機器會把這兩件事聯絡起來。

與人類相關的問題通常會和極其微妙的文化問題聯絡在一起，我們很難提前想到它們。當需要在不同的文化環境中做出價值判斷時，這些問題幾乎完全要由人類來處理，而不能夠是 AI。

▲ AI 缺乏道德文化背景資訊，在相關問題上難下判斷

即便是制定人類用來判斷這些事情的規則都非常困難。文化障礙是一個巨大的問題。印度的評論家不一定具有關於美國的種族歧視的文化背景，在美國的人也不一定有印度文化背景。世界各地的文化數量是巨大的。你怎樣以任何人都可以理解的方式來表達這些想法呢？

我曾在 Google 花了一年半的時間來做這件事。而我從中學到的教訓是：系統中最危險的風險,通常不是來自系統內部，而是來自系統與更廣泛的外部世界互動時意想不到的問題。我們還沒有一個好方法來管理這些。

▍不幸的是，人工智慧會按你說的做

人工智慧的一個重要用途是幫助人們做出更好的決策。當這些選擇具有高風險時，AI 最有價值。如果沒有明確有用的資訊，人類可能會輕易地採納無意識的偏見，而不是真正的資料。許多法院都開始使用自動化的「風險評估」作為他們量刑指引的一部分。如果你拿一個地區法院的全部歷史語料來訓練模型，它可以清晰地告訴你誰是潛在危險分子。

如果你到目前為止一直在仔細閱讀，你可能會想出一些方法來實現這個目標。但這些方法可能會非常可怕，非常錯誤，正如 2016 年 ProPublica 揭露的那樣。

佛羅里達州布勞沃德縣法院使用了 COMPAS 系統，其設計者遵循了最佳實踐原則，確保訓練資料沒有人為地偏袒某個群體，將種族排除在模型的輸入特徵之外。但 AI 模型並沒有預測出他們認為該預測的事情。

COMPAS 系統根據過往判刑時所得知罪犯資訊，來判斷了一個人將被定罪的概率，或者用兩個人來對比，得出哪一個最有可能在將來被定罪的結論。如果你對美國政治有一點了解的話，你可以立即回答這個問題：「黑人！」黑人比白人更可能被在路上截住，被逮捕，定罪並給予比白人更長的刑期。所以，查閱歷史資料的 AI 模型，也預測出了一個黑人被告在未來更有可能被定罪。

但這個模型被訓練的方法和它的真正用途並不符合。它被訓練回答「誰更可能被定罪」，但我們的問題卻是「誰更有可能犯罪」，沒有人注意到這是兩個完全不同的問題。

這裡有一個問題值得注意：你想要 AI 模型判斷的事情，和它可以判斷事情之間經常有差異。在相信 AI 模型之前，你需要非常仔細地理解這些相似和不同。 

▍人是一個會自我合理化的動物 

在機器學習的討論中有一個新的熱門話題：解釋權。它的意思是，如果 AI 被用來做任何重要的決定，人們有權理解這些決定是如何做出的。

直覺上，這似乎是顯而易見的事。但當專業人員提到這一點時，他們的臉色立刻就變了。他們知道，這事實上是不可能的。

為什麼會這樣？

在上文中，我將 AI 模型的決策機制描述為數百至數百萬個「旋鈕」。這個比喻對實際模型的複雜性來說並不公平。例如，基於 AI 的語言翻譯系統一次只能輸入一個字母，但模型必須在閱讀了大量的字母之後，才能理解文字。它所做的唯一「解釋」是：「好吧，後面的幾千個變數是這樣的狀態，然後我看到字母 c，這應該改變了這個詞在談論狗的概率…」

AI 系統的除錯是該領域最難的問題之一，因為在任何時候，檢查變數的個體狀態，然後向你解釋這個模型，就像測量一個人的神經潛能然後會告訴你他們吃晚飯的時間差不多困難。

我們總覺得我們可以解釋自己的決定，而且是人們期望的那種解釋。 比如，他們期望 AI 解釋：「考慮到它們的 FICO 分數中位數，我把這個抵押貸款的利率設定為 7.25％。」或者是「如果 Experian 的 FICO 分數高了 35 分，那麼利率就會下降到 7.15％。」又或者是「我建議你聘請這個人，因為他們在面試中清晰地解釋了機器學習。」

但是每個認知或行為心理學的人都知道一個黑暗的祕密，所有這些解釋都是無稽之談。我們是否會喜歡一個人，在聊天開始的最初幾秒就已經決定了，而且可能會受到一些看似隨意的事情的影響，比如在握手之前，他握著的是熱飲還是冷飲。

▲ 人類總會合理化自己的行為，但 AI 不擅長於此

事實證明，人們所擅長的並不是解釋他們是如何做出決定的，而是為自己的決定找出合理的解釋。有時候，這完全是無意識的，例如，我們在決策過程中會突出一些事實（「我喜歡這輛汽車的顏色」），並將注意力集中在這一點上，而忽略了對我們來說可能更重要但是看不見的因素（「我的繼父有一個敞篷車，我討厭我繼父」）。（「第一個候選人聽起來就像我畢業時那樣」；「那個女人很好，但是她看起來太與眾不同，她不適合和我一起工作。」）

如果我們期望 AI 系統為決定提供實際的解釋，我們就會遇到很多麻煩。現在，只有像「決策樹」這樣的模型可以被人們完全理解，而在許多實際應用中最有用的模型，如神經網路，則完全無法被理解。

人類的大腦有極度通用的智慧來處理各種概念，因而可以解決這個問題。你可以告訴它，在涉及種族歷史時應該對影像識別格外小心，因為同一個系統（大腦）可以理解這兩個概念。但 AI 還遠遠不能做到這一點。 

▍AI 歸根到底只是一個工具 

人工智慧無人機殺手——不提出這個大家都喜歡的例子就沒法探討 AI 道德。這些飛機在高空飛行，僅由計算機控制，在維護平民生活的同時實現殺害敵方武裝分子的任務……除非它們認為任務需要一些「附帶損害」，就像官方委婉說法那樣。

人們對這樣的裝置感到害怕。如果再聽一些正生活在永恆的死亡威脅之下的人們的故事，他們會更加害怕從晴朗的天空中橫空出世的殺手。

大型無人機與有人駕駛飛機的不同之處在於，無人機的飛行員可以遠在千里之外，遠離傷害。大型無人機可以在 99％ 的時間內自行駕駛，只有在需要作出重大決定時才會呼叫人。

現在我們可能會問，誰來承擔完全由機器人決定的殺人的道德責任？ 

這個問題既比我們想象的要簡單，同時也要更復雜。如果有人用石頭擊中另一個人的頭，我們責怪這個人，而不是石頭。如果他們投擲長矛，即使矛在某一段飛行期間「處於自己的力量之下」，我們也絕不會想要責怪矛。但現在，「工具」自己決定的範圍變得模糊。

簡單的地方在於，這個問題並不是全新的。軍事紀律的很大要點是要建立一個在戰鬥中不要過於自主思考的秩序，軍士和士官的作用是執行計劃。因此，從理論上講，決策責任完全是在官員肩上，根據軍銜，指揮官等區分人員責任區的明確界定決定了誰最終對任何一個指令負責。但在實踐中，這往往是相當模糊的。

還有很多我們應該討論的問題，其中很多對這個社會來說都是非常緊迫的。我希望上面的例子能夠讓你理解事情什麼時候是對的，什麼時候不對頭，以及許多的 AI 道德風險源於何處。

我們面臨的關於 AI 的許多問題，大多都不是新問題。只不過現在，這些問題又通過技術上的一些變化而顯露出來。

由於 AI 沒有文化背景、也沒有能力推斷出我們的言外之意，因而它迫使我們以違背日常習慣的方式來表達。無論是要求我們在緊要關頭到來之前就做出生死攸關的決定，還是要求我們長期嚴格的審視社會的實際情況，並態度鮮明的表達我們想要保留哪些部分、改變哪些部分。

AI 把我們推離了「禮貌性編造」的舒適區，進入了一個我們必須非常明確地討論事物的世界。這可能並不容易，但對我們來說，誠實可能是新技術可以給我們帶來的最寶貴的禮物。