長久以來，我們都將注意力放在了演算法效能上，而對於演算法偏見，我們並沒有很完善的研究。通常直觀的想法就是修正資料集，以構建類別平衡的訓練集，但是這又額外地引入了工作量。在 MIT 的 AAAI 2019 新研究中，作者藉助 VAE 學習訓練資料的潛在結構，並以學到的潛在分佈給資料點加權從而解決演算法偏見問題。
演算法中的偏見可能比你想象得還要普遍。發表於 2012 年的《Face Recognition Performance: Role of Demographic Information》一文表明，Cognitec 的人臉識別系統對非裔美國人的識別準確率比白人低 5 到 10 個百分點，《An other-race effect for face recognition algorithms》一文發現，中國、日本和韓國開發的模型不太容易區分白種人和東亞人。最近的一份研究表明，谷歌和亞馬遜的語音助手在理解非美國口音方面的準確率要低 30%。《Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings》一文發現，Google News 文章中的詞嵌入存在對於男性和女性的刻板印象。
這是一個問題。但幸運的是，MIT 的研究者已經探索出了解決之道。
在論文《Uncovering and Mitigating Algorithmic Bias through Learned Latent Structure》中，MIT CSAIL 的科學家們展示了一種可以透過重新取樣來自動消除資料偏見的 AI 系統。他們表示，在專門測試計算機視覺系統中偏見的資料集上，該系統顯示出優異的效能，分類偏見也得以降低。該論文將在本週舉辦的 AAAI 大會上作為 Poster 論文進行展示。
「人臉識別通常被視為一個已經得到解決的問題，儘管很明顯，人們使用的資料並未得到適當審查，」上述論文一作之一 Alexander Amini 說道。「矯正這些問題至關重要，因為這類演算法已經用在了安全、執法及其他領域。」
這不是 MIT CSAIL 第一次解決該問題，在 2018 年的一篇論文裡，David Sontag 教授及其同事描述了一種在不降低預測結果準確性的前提下減少 AI 偏見的方法。但本文提出的方法是一種新穎的、半監督的端到端深度學習演算法，它同時學習所需任務和資料結構，如面部檢測任務和訓練資料的潛在結構。後者使其能夠揭開訓練資料中隱藏或隱含的偏見，並能夠在訓練期間自動去除這些偏見，而無需資料預處理或註釋。
去除偏見的原理
研究人員所設計的人工智慧系統核心是一個變分自編碼器（VAE），這是一種常見的無監督神經網路，與 GAN 一樣經常用於影像生成任務。與自編碼器一樣，變分自編碼器主要包含編碼器和解碼器。其中編碼器將原始輸入對映到特徵表示中，而解碼器將特徵表示作為輸入，利用它們進行預測並生成輸出。最後模型會對比編碼器的輸入與解碼器輸出之間的差別，並將它們作為損失函式而執行訓練。
在本文所提出的 VAE 下，即去偏見 VAE（DB-VAE），編碼器部分在給定資料點的情況下學習隱變數真實分佈的近似值，而解碼器則期望基於潛在空間重構輸入資料。解碼重構使得在訓練期間能夠以無監督的方式學習隱變數。
為了驗證該去偏見演算法在現實問題上具有「重要的社會影響」，研究人員在包含 40 萬張影像的資料集上訓練 DB-VAE 模型，分別將其中 80% 的影像作為訓練集，20% 的影像作為驗證集。然後他們在 PPB 測試資料集上評估該模型，該資料集包含 1270 張來自非洲和歐洲不同國家國會議員的影像。
結果很不錯，據研究人員表示 DB-VAE 不僅學習面部特徵（如膚色、頭髮），還學習諸如性別和年齡等其它特徵。將在個體人口統計學（種族/性別）和整個 PPB 資料集上訓練的去偏見模型與普通模型相比，去偏見模型的分類準確率明顯增加，且針對種族和性別的分類偏見明顯下降。該研究團隊表示，這是朝著公平和無偏見 AI 系統發展的重要一步。
「公平系統的開發和部署對於防止意外的歧視以及確保這些演算法被長期接納至關重要。我們希望該演算法能夠促進現代人工智慧系統演算法的公平性。」合著者表示。
取得進步
過去十多年有很多失誤都描述了 AI 潛在的偏見，但這並不意味著我們沒有在更準確、偏見更少的系統方面取得進展。
去年 6 月份，微軟與致力於人工智慧公平性的專家通力合作，修正和擴充套件了用於訓練 Face API 的資料集。Face API 是微軟 Azure 中的一個 API，它提供預訓練演算法以檢測、識別和分析人臉影像中的屬性。新資料透過調整膚色、性別和年齡等所佔的比例，能夠將膚色較深的男性和女性之間的識別錯誤率降低 20 倍，單單女性的識別誤差率就能降低 9 倍。
與此同時，一大類新興的演算法糾偏工具有望實現更加公正的人工智慧。
去年 5 月，Facebook 釋出了 Fairness Flow。如果一個演算法因為人類的種族、性別、和年齡等因素做出不公平的判斷，Fairness Flow 會自動預警以提醒開發者。初創公司 Pymetrics 同樣開源了他們用於檢測偏見的工具 Audit AI；Accenture 釋出了一個工具包以自動檢測 AI 演算法中的偏見，並幫助資料科學家緩解這些偏見。此外在去年 9 月份，谷歌推出了新工具 What-If，這是 TensorBoard 中用於檢測偏見的工具，也表明機器學習框架 TensorFlow 開始關注這種演算法的偏見。
論文：Uncovering and Mitigating Algorithmic Bias through Learned Latent Structure
論文連結：http://www.aies-conference.com/wp-content/papers/main/AIES-19_paper_220.pdf
摘要：最近的研究揭示了基於現代機器學習的系統容易產生偏見，尤其是對於訓練資料中缺乏代表性的社會群體。在本文中，我們開發了一種新的、可調的演算法來減少訓練資料中隱藏的潛在偏見。我們的演算法將原始的學習任務和變分自編碼器相融合，以學習訓練資料中的潛在結構，然後在訓練時自適應地使用學到的潛在分佈給特定資料點的重要性重新加權。雖然我們的方法可以泛化到不同的資料模式和學習任務上，但在本研究中我們主要用該演算法來解決面部檢測系統中的種族和性別偏見問題。我們在 Pilot Parliaments Benchmark（PPB）資料集上評估了該演算法，這是一個專為評估計算機視覺系統中的偏見而設計的資料集。評估結果表明，我們的去偏見方法提高了整體效能，降低了分類偏見。
原文連結：https://venturebeat.com/2019/01/26/mit-csail-researchers-propose-automated-method-for-debiasing-ai-algorithms/