如何識別危險的AI演算法及建立遵循我們道德準則的大資料模型

在討論人工智慧的威脅時，首先想到的是天網，駭客帝國和機器人啟示錄的影像。排名第二的是技術失業，這是在可預見的未來的願景，在該願景中，人工智慧演算法將接管所有工作，並促使人們在不再需要人工勞動的世界中為無意義的生存而鬥爭。

這些威脅中的任何一個還是兩個都是真實存在的，在科學家和思想領袖之間引起了激烈的爭論。但是，人工智慧演算法還以不那麼明顯和難以理解的方式構成了當今更加迫在眉睫的威脅。

數學家凱茜·奧尼爾(Cathy O'Neil)在她的著作《數學破壞的武器：大資料如何增加不平等並威脅民主》中探討了盲目相信演算法來做出敏感決策如何損害許多接受決策的人。

AI演算法的危險可以表現在演算法偏差和危險的反饋迴圈中，並且可以擴充套件到日常生活的各個領域，從經濟到社會互動，再到刑事司法系統。儘管在決策中使用數學和演算法並不是什麼新鮮事，但深度學習的最新進展以及黑匣子AI系統的泛濫放大了它們的影響，無論是好是壞。如果我們不瞭解AI的當前威脅，我們將無法從AI的優勢中受益。

危險AI演算法的特徵

我們使用演算法進行建模以理解和處理許多事情。“畢竟，模型只不過是某種過程的抽象表示，無論是棒球比賽，石油公司的供應鏈，還是電影院的訂座，”奧尼爾在《數學武器》中寫道破壞。“無論它是在計算機程式中執行還是在我們的頭腦中執行，該模型都會利用我們所知道的知識，並用其預測各種情況下的響應。”

但是，由於深度學習的進步以及我們生活各個方面的數字化日益增強，越來越多的模型從我們的頭腦中轉移到了計算機上。藉助寬頻網際網路，雲端計算，移動裝置，物聯網(IoT)，可穿戴裝置以及一系列其他新興技術，我們可以收集和處理越來越多的有關任何事物的資料。

對資料和計算能力的這種不斷增長的訪問幫助建立了可以自動執行越來越多工的AI演算法。以前僅限於研究實驗室的深度神經網路已經進入許多以前對計算機具有挑戰性的領域，例如計算機視覺，機器翻譯，語音和麵部識別。

到目前為止，一切都很好。有什麼問題嗎?在數學破壞武器中，O'Neil指定了使AI模型變得危險的三個因素：不透明度，規模和破壞。

演算法與公司不透明

AI系統的不透明性有兩個方面：技術和公司。近年來，技術上的不透明性(也稱為人工智慧的黑匣子問題)受到了很多關注。

簡而言之，問題是，我們如何知道AI演算法正在做出正確的決定?隨著AI逐漸進入貸款申請處理，信用評分，教師評級，累犯預測以及許多其他敏感領域，這個問題變得越來越關鍵。

許多媒體已經發表文章，將AI演算法描述為神秘的機器，其行為甚至對於開發人員來說都是未知的。但是，與媒體所描述的相反，並不是所有的AI演算法都是不透明的。

傳統的軟體通常以AI術語稱為符號人工智慧，以其可解釋和透明的特性而聞名。它們由手工編碼的規則組成，由軟體開發人員和領域專家精心組合而成。可以對它們進行探測和稽核，並且可以將錯誤追溯到發生錯誤的程式碼行。

相反，近年來變得越來越流行的機器學習演算法透過分析許多訓練示例並建立統計推斷模型來發展其行為。這意味著開發人員不一定對AI演算法的行為擁有最終決定權。

但同樣，並非所有的機器學習模型都是不透明的。例如，決策樹和線性迴歸模型是兩種流行的機器學習演算法，它們將對決定其決策的因素給出清晰的解釋。如果您訓練決策樹演算法來處理貸款申請，它可以為您提供樹狀分解(因此稱為名稱)，說明如何確定要確認和拒絕哪些貸款申請。這為開發人員提供了發現潛在問題因素並糾正模型的機會。

但是，在過去幾年中非常流行的深度神經網路在揭示其工作方式方面尤其不利。它們由一層層的人工神經元，小的數學函式組成，這些函式將其引數調整為訓練期間看到的數千個示例。在很多情況下，很難探究深度學習模型並確定哪些因素有助於他們的決策過程。

貸款申請處理深度學習演算法是一個端到端模型，在該模型中，貸款申請進入，並得出最終結論。關於AI演算法的決策方式，沒有逐個特徵的細分。在大多數情況下，訓練有素的深度學習模型的效能將比其不太複雜的(決策樹，支援向量機，線性迴歸等)更好，並且甚至可能發現相關模式，這些模式對於人類專家來說是不會被注意到的。

但是，即使是最精確的深度學習系統也會偶爾出錯，而一旦出錯，就很難確定出了什麼問題。但是深度學習系統不需要在不透明性成為問題之前就犯錯誤。假設一個生氣的客戶想知道為什麼AI應用程式拒絕了他們的貸款申請。當您擁有可解釋的AI系統時，就可以對做出決定的步驟提供清晰的解釋。

但是，儘管人工智慧演算法在技術上的不透明性在科技媒體上引起了廣泛關注，但很少討論的是公司使用其演算法的不透明方式，即使演算法本身是微不足道的且可解釋的。“即使參與者知道要建模，或者模型的用途是什麼，該模型還是不透明的，甚至是不可見的?”奧尼爾在《數學毀滅性武器》中的問題。

將AI演算法視為公司機密的公司會盡力將其隱藏，以保持領先於競爭對手的優勢。對於支援Google搜尋的AI演算法，我們知之甚少。這種機密性是有道理的。例如，如果Google釋出了其搜尋演算法的內部結構，那麼它將很容易受到遊戲的攻擊。實際上，即使沒有Google透露有關其搜尋演算法的詳細資訊，整個行業也隨時準備尋找捷徑，直指Google搜尋排名第一的位置。畢竟，演算法是無意識的機器，它們按照自己的規則執行。他們不使用常識性判斷來識別扭曲行為準則的邪惡行為者。

但是，以同樣的例子為例，如果沒有透明度，我們如何確保Google本身不會操縱搜尋結果來實現自己的目標和經濟利益?這僅顯示了組織在使用AI演算法時所走的細線。當AI系統不透明時，它們甚至不需要犯錯誤就可以造成破壞。甚至對系統效能的懷疑陰影也足以引起對系統的不信任。另一方面，過多的透明度也會適得其反，並導致其他災難性的後果。

O'Neil在GDPR和CCPA等規則生效之前，於2016年撰寫了《數學毀滅性武器》。這些法規要求公司對AI演算法的使用保持透明，並允許使用者調查其自動化系統背後的決策過程。其他發展，例如歐盟委員會的道德AI規則，也激勵了透明度。

在解決有關AI透明性的技術，道德和法律問題方面已經取得了很大的進步，還需要做更多的工作。隨著監管機構透過新法律來規範公司機密性，公司會找到新方法來規避這些規則，而又不會陷入困境，例如，很長的服務條款對話方塊會明顯地剝奪您獲得演算法透明性的權利。

誰承擔著AI演算法的損害

有很多AI演算法的例子，它們會提出愚蠢的購物建議，錯誤分類影像以及做其他愚蠢的事情。但是，隨著AI模型在我們的生活中越來越根深蒂固，它們的錯誤正從良性向破壞性轉變。

在書中，奧尼爾(O'Neil)探索了許多情況，這些情況會導致演算法對人們的生命造成破壞。例子包括錯誤地對人進行懲罰的信用評分系統，根據種族和族裔背景對被告判處較重刑罰的累犯演算法，最終會解僱表現出色的老師並獎勵作弊者的教師評分系統以及可賺取數十億美元的交易演算法以低收入階層為代價。

演算法的影響加上缺乏透明度，導致建立危險的AI系統。例如，奧尼爾說：“新的累犯模型既複雜又數學。但是在這些模型中嵌入了許多假設，其中一些是偏見的，”並且補充道，“累犯模型的工作方式被隱藏在演算法中，只有少數精英才能理解。”

基本上，這意味著AI演算法可以根據種族來決定將其關押，而被告無法查明為什麼他們被認為沒有資格獲得赦免。

還有兩個因素使危險AI演算法的破壞更加有害。

首先，資料。機器學習演算法依賴於質量資料來進行訓練和準確性。如果要影像分類器準確檢測貓的圖片，則必須為其提供許多帶有標籤的貓的圖片。同樣，貸款申請演算法將需要大量的貸款申請及其結果(已付款或未償還)的歷史記錄。

問題是，那些受到AI演算法傷害的人通常是沒有足夠質量資料的人。這就是為什麼貸款申請處理者可以為那些已經有足夠的銀行服務機會的人提供更好的服務，並對那些被大量剝奪了金融體系的沒有銀行服務的人和處境不利的人進行懲罰的原因。

第二個問題是反饋迴路。當AI演算法開始做出有問題的決策時，其行為會產生更多錯誤資料，這些錯誤資料又會被用於進一步完善演算法，從而造成更大的偏見，並且迴圈不斷地繼續下去。

關於維持治安這一話題，奧尼爾認為，對犯罪的偏見預測會導致更多的警察在貧困社群居住。她寫道：“這會造成有害的反饋迴圈。”警務本身會產生新資料，這證明了更多警務的合理性。我們的監獄裡滿是成千上萬的被判無害罪行的人。”

當您對所有這些彼此分離且相互連線的AI系統如何相互瞭解產生更大的瞭解時，您將看到真正的危害是如何發生的。O'Neil總結了這種情況：“窮人更有可能信譽不好，生活在高犯罪率的社群中，周圍有其他窮人。一旦大規模殺傷性武器的黑暗世界消化了這些資料，它就會在掠奪性廣告中投放次級抵押貸款或營利性學校。它派出更多的警察逮捕他們，當他們被定罪後，將對其判處更長的刑期。該資料被輸入到其他大規模殺傷性武器中，這些大規模殺傷性武器將同一人評為高風險或容易成為目標，並繼續阻止他們工作，同時提高了他們按揭，汽車貸款和各種可能的保險費率。這進一步降低了他們的信用等級，創造的無非就是建模的死亡螺旋。在大規模殺傷性武器世界中變得貧窮變得越來越危險和昂貴。”

演算法危害的爆炸性規模

“第三個問題是模型是否具有指數增長的能力。正如統計學家所說，它可以擴充套件嗎?”奧尼爾寫了“數學毀滅武器”一書。

考慮我們前面討論的Google搜尋示例。數十億人使用Google搜尋找到有關健康，政治和社會問題的重要問題的答案。Google的AI演算法中的一個小錯誤會對公眾輿論產生巨大影響。

同樣，Facebook的排名演算法決定了每天都有成千上萬人看到的新聞。如果這些演算法有問題，則可以透過惡意行為者利用它們傳播虛假的，轟動性的新聞。即使沒有直接的惡意意圖，它們仍然可能造成傷害。例如，有利於吸引內容的新聞提要演算法可以放大偏差並建立過濾泡，從而使使用者對替代檢視的容忍度降低。

當不透明和錯誤的Al演算法確定了數億人的信用分數或決定了該國教育系統的命運時，您便擁有了摧毀數學武器的所有要素。那麼，對此應該怎麼做?我們需要承認我們部署的AI演算法的侷限性。雖然擁有一個可以使您擺脫做出艱難決策的職責的自動化系統似乎很誘人，但您必須瞭解人類何時處於這些決策的接受端以及它們如何受到影響。

大資料流程整理了過去。他們不會創造未來。這樣做需要道德的想象力，而這是人類所能提供的。我們必須明確地將更好的價值嵌入到我們的演算法中 。有時候，這意味著將公平置於利潤之上。