包括谷歌、微軟和亞馬遜在內的科技公司的物體識別演算法，在識別低收入國家的物品時，錯誤率更高，演算法表現得也更差。

這是Facebook人工智慧實驗室的一項新研究。同時，該研究還表明，人工智慧偏見不僅存在於國家內部，還歧視不同國家。

在低收入家庭中，演算法的準確率最低可達20％

在這項研究中，研究人員測試了五種已有的流行的物體識別演算法 - Microsoft Azure，Clarifai，Google Cloud Vision，Amazon Rekognition和IBM Watson--以瞭解每個演算法程式識別從全球資料集中收集的家庭日用品的效果。

該家庭日用品的資料集包括117個類別，從鞋子到肥皂到沙發幾乎所有物品以及不同層次的家庭收入和地理位置，從蒲隆地的一個每月收入27美元的家庭到烏克蘭的一個每月收入10,090美元的家庭。

研究人員發現，物體識別演算法在被要求識別月收入50美元的家庭物品時比物品價值超過3,500美元的家庭誤差大約增加10％。準確度的絕對差異甚至更大：與索馬利亞和布吉納法索的物品相比，演算法在識別美國家庭物品時的效果提高了15％至20％。

這些發現被認為“在一系列用於影像識別的商業雲服務中是一致的”。

這種偏見的產生有許多根本原因，也是AI中眾所周知的問題。其中最常見的原因是用於建立演算法的訓練資料通常反映了負責這一演算法的工程師的生活和背景。由於這些人通常是來自高收入國家的白人，他們開發的程式也是在這樣的環境下訓練出來的。

人工智慧偏見的最著名的例子之一是面部識別演算法，在識別女性面部特別是“有色人種”女性時，這些演算法通常表現更差。這種偏見可以進入各種系統，從用於計算假釋刑期的演算法到在求職面試之前的簡歷評估。

在物體識別演算法的情況下，研究者認為，有一些可能導致錯誤的原因：首先，用於建立系統的訓練資料在地理上受到限制，其次，他們無法識別文化差異。

寫視覺演算法訓練的資料主要來自歐洲和北美，並且“在人口眾多的地理區域中嚴重欠取樣視覺場景，特別是在非洲，印度，中國和東南亞。”

偏差可能由多個因素引起，包括不完整的訓練資料

同樣，大多數影像資料集使用英語名詞作為初始語言並相應地收集資料。這意味著物品的類別可能不夠完整，或者同一個物品在不同的國家或地區看起來並不相同。例如，洗碗皂。在一些國家這些香皂就是肥皂，而在另一個國家是盛在容器裡的液體。同樣的，婚禮，在美國和印度看起來也大不相同。

為什麼弄清楚這點很重要？

首先，這意味著使用這些演算法建立的任何系統對來自低收入和非西方國家的人來說都會表現更差。由於美國科技公司是人工智慧的全球領導者，這可能會影響從照片儲存服務和影像搜尋功能到更重要的系統，比如自動安全攝像頭和自動駕駛汽車。

但這可能只是冰山一角。視覺演算法相對容易評估這些偏差，但是建立這些程式的管道也為整個行業提供了充分的演算法，而這些演算法永遠不會受到同樣的審查。

“審計AI系統並不一定容易，因為沒有執行此類審計的標準基準，”幫助開展此項研究的Facebook AI的研究科學家Laurens van der Maaten告訴The Verge。 “在打擊這種偏見方面，最重要的一步是在設定用於訓練系統的訓練資料的收集過程時更加謹慎。”

矽谷經常推廣其產品，特別是近年來它的人工智慧產品。作為平等主義者，所有人都可以使用。 這樣的研究表明，科技公司繼續以它們自己的形象和理解去評估，定義和塑造世界。

作者：James Vincent

譯自：THE VERGE

圖源：THE VERGE