機器學習是當今技術最重要的基本趨勢之一，也是未來十年科技將在更廣闊的世界中改變事物的主要方式之一。作為其中的一部分，機器學習的各個方面引起關注 - 例如，它對就業的潛在影響，以及它用於我們可能認為不道德的目的，例如它可能給予壓迫性政府的新能力。另一個，也就是這篇文章的主題，是人工智慧偏差的問題。

什麼是'AI Bias偏差'？

“原始資料既是矛盾又是壞主意; 相反，資料應該小心烹飪。“傑弗裡鮑克

直到2013年左右，如果你想製作一個可以識別照片中的貓的軟體系統，你就會編寫邏輯步驟。你會做一些尋找影像邊緣的東西，一個眼睛探測器，一個用於皮毛的紋理分析器，並嘗試計算腿部等等，然後將它們全部固定在一起......它永遠不會真的很棒。從概念上講，這就像試圖製造機械馬一樣 - 理論上這是可能的，但在實踐中，複雜性太大，我們無法描述。在沒有工作模型的情況下，您最終會得到數百或數千條手寫規則。

通過機器學習，我們不使用手寫規則來識別X或Y。

相反，我們採用X的一千個例子和Y的一千個例子，我們讓計算機根據這些的統計分析建立一個模型。例子。然後我們可以給該模型一個新的資料點，並且它具有給定的準確度，是否適合示例集X或示例集Y.機器學習使用資料生成模型，而不是人類編寫模型。這產生了驚人的好結果，特別是對於識別或模式發現問題，這就是為什麼整個科技行業正在圍繞機器學習重新制作的原因。

然而，有一個問題。在現實世界中，你的千（或十萬或百萬）X和Y的例子也包含A，B，J，L，O，R和P.這些可能不均勻分佈，並且它們可能足夠突出，你的AI系統對L和R的關注度卻超過了X。

這在實踐中意味著什麼？我最喜歡的例子是影像識別系統傾向於觀看草山的照片並指出“羊”。大多數作為“綿羊”的例子的照片都是在草山上拍攝的，因為那是綿羊往往生活的地方，而且影像中的草比白色蓬鬆的小東西更加突出。

這裡要理解的一個重要事項是系統沒有語義去理解它正在看的是什麼。我們檢視畫素網格並將其轉換為綿羊，皮膚或標尺，系統只看到一串數字。它沒有看到3D空間，物體，紋理或綿羊。它只是看到資料中的模式。

同時，嘗試診斷此類問題的挑戰在於您的機器學習系統生成的模型（神經網路）包含數千或數十萬個節點。沒有簡單的方法來檢視模型內部，看看它是如何做出決定的 - 如果可以的話，那麼這個過程很簡單，你首先就不需要ML了，你可以自己編寫規則。人們擔心ML是一個“黑匣子”。（正如我稍後解釋的那樣，這個問題經常被誇大了。）

那麼什麼是“AI偏差”或“機器學習偏差”問題？用於查詢資料模式的系統可能會找到錯誤的模式，您可能也沒有意識到。

AI偏差場景用例

這個問題可以表現出來的最明顯和最直接的關注​​點是人類的多樣性。據報導，亞馬遜最近曾嘗試建立一個機器學習系統來篩選簡歷以進行招聘。由於亞馬遜目前的員工群體偏向於男性，因此“成功招聘”的例子在機械上也會使男性產生偏差，因此，該系統選擇了簡歷。亞馬遜發現了這一點，該系統從未投入生產。

這個例子中最重要的部分是據報導，即使在簡歷上沒有明確標明性別，該系統也表現出這種傾斜。該系統在其他事物中看到了“成功員工”樣本集中的模式 - 例如，女性可能會使用不同的詞語來描述成就，或者在學校中進行過不同的體育運動。當然，該系統不知道什麼是冰球，也不知道人們是什麼，也不知道“成功”是什麼 - 它只是對文字進行統計分析。但是它所看到的模式並不一定是人類會注意到的東西。

它變得更糟。一個非常善於發現蒼白皮膚上的皮膚癌的機器學習系統可能更難以在深色皮膚上發現皮膚癌，反之亦然，可能不是因為樣本中的偏差，而是因為您可能需要以不同的方式構建模型首先要挑選出不同的特徵。

即使在像影像識別這樣的狹窄應用中，機器學習系統也是不可互換的。您必須調整系統的結構，有時只是通過反覆試驗，以便善於發現您感興趣的資料中的特定功能，直到達到所需的準確度。但是你可能沒有意識到系統對於一組而言準確率為98％，但對於另一組而言只有91％準確（即使該準確度仍然超過人類分析）。

我們將使用ML來做很多事情，樣本偏差將成為所有這些問題的一部分考慮因素。同樣，即使您與人合作，資料中的偏差也可能與人無關。

AI偏差管理

我們該怎麼辦？您可以將現場思維分為三個方面：

1. 在訓練資料的收集和管理中的方法嚴謹性
2. 用於分析和診斷模型行為的技術工具。
3. 在產品中部署ML的培訓，教育和謹慎。

樣板偏差關鍵是來自於我們自己先驗地可能對不同的人群資料有偏見。

在這種情況下，我經常將機器學習與資料庫進行比較，特別是關聯式資料庫 - 一種新的基礎技術，它改變了電腦科學的可能性，改變了更廣闊的世界，成為了所有東西的一部分，我們現在使用一直沒有注意到。

但資料庫也存在問題，而且問題具有相同的特徵：系統可能建立在錯誤的假設或糟糕的資料之上，一直使用它的人很難意識到這點更不會去質疑。

比如稅務系統中如果登記你的名字寫錯了，更容易的是讓改變你的名字，而不是讓他們修改資料庫中的拼寫字母，這被認為是SQL固有的技術問題，Oracle的執行失敗，或大型官僚機構的制度性失敗？如何輕鬆地確定部署系統的確切過程，無法修復拼寫錯誤，或者知道在人們開始抱怨之前已經完成了這個操作？

所有這一切都是說，ML偏見會以與過去問題大致相同的方式引起問題，並且可以解決和發現，或者不會，與過去大致相同的程度。因此，人工智慧偏見導致最容易想象的傷害的情景可能不是來自主要機構的主要研究人員。相反，它是第三層技術承包商或軟體供應商，它將開源元件，圖書館和工具中的某些內容與其真正理解的東西聯絡在一起，然後將其出售給在貼紙上看到“AI”的不熟練買家。不要問正確的問題，把它交給最低工資的員工，並告訴他們做'AI'所說的任何事情。這是資料庫發生的事情。這不是特別是AI問題，甚至是“軟體”問題。 

結論

“機器學習可以做任何你可以訓練狗去做的事情 - 但你從來都不能完全確定你訓練狗去做什麼。”​​​​​​​

我經常認為“人工智慧”這個詞在這樣的對話中是無用的。它創造了我們實際創造的大部分錯誤印象，這些只是機器，將它們與洗衣機進行比較會更有用。在洗衣服時，洗衣機比人類要好得多，但是如果你把洗碗機放在洗衣機而不是衣服上並按下開始，它就會洗掉它們。他們甚至會變得乾淨。但這不是你想要的結果，也不會是因為系統偏向於菜餚。洗衣機不知道什麼衣服或餐具 - 它只是一個自動化，它在概念上與以前的任何自動化浪潮都沒有什麼不同。

也就是說，就像汽車，飛機或資料庫一樣，這些系統既強大又極其有限，完全取決於人們如何使用這些系統，以及使用者的好壞，以及受過良好教育或無知的人這些系統是如何工作的。

因此，說'人工智慧是數學，所以它不會有偏差'是完全錯誤的。ML在資料中找到模式 - 哪些模式取決於資料，資料取決於我們，我們用它做什麼取決於我們。機器學習在做某些事情方面要比人們好得多，就像一隻狗在尋找毒品方面要比人們好得多，但你不會因狗的證據而定罪。而且狗比任何機器學習都聰明得多。