以「最小化預測誤差」為目的訓練的機器學習系統通常會基於種族、性別等敏感特性（sensitive characteristics），表現出歧視性行為（discriminatory behavior），資料中的歷史性偏差可能是其中的一個原因。長久以來，在諸多如貸款、僱用、刑事司法以及廣告等應用場景中，機器學習一直被詬病「由於歷史原因，潛在地傷害到曾被忽視的、弱勢群體」。
本文討論了研究者們在調整以長期社會福利（long term social welfare）為目標的機器學習所得決策方面的近期成果。通常，機器學習模型產生一個得分（score）來概述關於個體的資訊，進而對其作出決策。例如，信用得分（credit score）總結了某人的信用歷史和財務行為，來幫助銀行評定其信用等級。我們以此貸款場景為例貫穿全文。任何使用者群體在信用得分上都有其特定分佈，如下圖所示。
1. 信用得分和償還分佈
通過定義一個閾值，可以將得分轉變為決策。例如，得分高於放貸閾值的人可以獲得貸款，而低於放貸閾值的則被拒絕。這種決策規則叫閾值策略（threshold policy）。可以將得分理解為貸款違約的估計概率編碼。例如，信用得分為 650 的人中，90% 的人會償還其貸款。因此，銀行可以預估其為信用得分為 650 的使用者提供等額貸款的期望收益，同樣，可以預測為信用得分高於 650（或任何給定閾值）的全體使用者提供貸款的期望收益。
2. 貸款閾值和結果
不考慮其他因素的情況下，銀行會試圖最大化其總收益。收益取決於收回的償還貸款額與在貸款違約的損失額之間的比。在上圖中，收益損失比為 1：-4，由於相較於收益，損失的成本更高，因此銀行會更保守的進行放貸，並提高放貸閾值。我們將高於此閾值以上的總體人數佔比稱為選擇率（selection rate）。
結果曲線
貸款決策不僅影響銀行機構，也會影響個人。一次違約行為（貸款人無法償還貸款）中，不僅是銀行損失了收益，貸款人的信用得分也會降低。而成功的貸款履約行為中，銀行獲得收益，同時貸款人的信用得分提升。在本例中，某使用者信用得分變化比為 1（履約）：-2（違約）
在閾值策略中，結果（outcome）被定義為某群體得分的變化期望，可以引數化為選擇率的函式，稱此函式為結果曲線（outcome curve）。當某群體的選擇率發生變化時，其結果也會發生變化。這些總體人數級別上的結果會同時取決於償還概率（由得分編碼得到）、成本以及個體貸款決策的收益。
上圖展示了某典型群體的結果曲線。當群體內獲得貸款併成功償還的個體足夠多時，其平均信用得分就可能增加。這時，如果其平均得分變化（average score change）為正，則可得到無約束收益最大化結果。偏離收益最大化，以給更多人提供貸款時，平均得分變化會增大到最大值。稱其為利他最優（altruistic optimum）。也可以將選擇率提升到某個值，使平均得分變化低於無約束收益最大化時的平均得分變化、但依然為正，即圖中黃色點狀陰影所表示的區域。稱此區域中的選擇率導致了相對損害（relative harm）。但如果無法償還貸款的使用者過多，則平均得分就會降低（平均得分變化為負），從而進入紅色橫線陰影區域。
4. 貸款閾值和結果曲線
多群體情況
給定的閾值策略如何影響不同群體中的個體？兩個擁有不同信用得分分佈（credit score distribution）的群體會擁有不同的結果。
假設第二個群體和第一個群體的信用得分分佈不同，同時群體內人數也更少，將其理解為歷史弱勢群體。將其表示為藍群體，我們希望保證銀行的貸款政策不會不合理地傷害、欺騙到他們。
假設銀行可以對每個群體選擇不同的閾值，雖然這可能面臨法律挑戰，但為了預防由於固定閾值決策可能帶來的差別結果，基於群體的閾值是無法避免的。
5. 不同群體的貸款決策
很自然的會出現問題：怎樣的閾值選擇可以在藍群體的得分分佈中得到期望改善。如上文所述，無約束的銀行策略會最大化收益，並選取收支平衡、貸款有利可圖的點。事實上，收益最大化閾值（信用得分為 580）在兩個群體中是相同的。
公平性準則
擁有不同得分分佈的群體會有不同形狀的得分曲線（原文圖 6 上半部分展示了真實信用得分資料和一個簡單結果模型的結果曲線）。作為無約束收益最大化的另一個替代選擇是公平性約束（fairness constraints）：通過某些目標函式令不同群體的決策平等。目前已經提出了各種公平性準則，訴諸直覺來保護弱勢群體。通過結果模型，我們可以正式的回答：公平性約束是否真的鼓勵了更多的積極結果。
一個常見的公平性準則，人口統計平等（demographic parity），要求銀行在兩個群體中給出相同比例的貸款。在此要求下，銀行繼續儘可能最大化收益。另一個準則，機會平等（equality of opportunity）：兩個群體中的真陽性率（true positive rate）相等，要求銀行對兩個群體中會償還貸款的個體相同的貸款比例。
雖然從要求靜態決策公平的角度出發，這些準則都很合理，但它們大多忽略了這些對群體結果的未來效應。原文圖 6 通過對比最大化收益、人口統計平等和機會平等下的策略結果，展示了這一點。看看每個貸款策略下銀行收益和信用得分的變化。和最大化收益策略相比，人口統計平等和機會平等都降低了銀行收益，但是否獲得了相較於最大化收益得到提升的藍群體結果？雖然相較於利他最優，最大化收益策略對藍群體貸款過低，但機會平等策略則（相較於利他最優）貸款過多，人口統計平等則貸款過多，並達到了相對損害區域。
6. 有約束條件下的貸款決策模擬
如果公平性準則的目標是「從長期來看，提升或公平化所有群體的幸福」，剛才展示的則表明在某些場景下，公平性準則實際上是違背了這一目的。換言之，公平性約束會進一步降低弱勢群體中的現有福利。建立準確模型，以預測策略將對群體結果產生的效應影響，也許可以緩解由於引入公平性約束而產生的意料以外的傷害。
對「公平」機器學習結果的思考
研究者提出了一個基於長期結果的對機器學習「公平性」討論的視角。如果沒有細緻的延遲結果模型，就不能來預測公平性準則作為加在分類系統上之後的影響。然而，如果有準確的結果模型，就能以相較於現有公平性準則而言，更直接的方式來優化正例結果。具體而言，結果曲線給出了偏離最大化收益策略，以最直接提升結果的方法。
結果模型是在分類過程中引入領域知識的一個具體方法，並能與許多指出機器學習中的「公平」具有背景敏感特性的研究很好地吻合。結果曲線為此應用特定的權衡過程提供了一個可解釋的視覺工具。
更多細節請閱讀論文原文，本文將在今年 35 屆 ICML 大會上出現。本研究只是對「結果模型可以緩解機器學習演算法對社會意料外影響」的初步探索。研究者們相信，未來，隨著機器學習演算法會影響到更多人的生活，會有更多的研究工作，來保證這些演算法的長期公平性。 
論文：Delayed Impact of Fair Machine Learning
論文地址：https://arxiv.org/pdf/1803.04383.pdf
原文連結：http://bair.berkeley.edu/blog/2018/05/17/delayed-impact/