原創(chuàng) 賈小雙 定量群學(xué)

引言

隨著人工智能的發(fā)展，算法決策系統(tǒng)越來越多地被用于輔助甚至是替代人的決策，例如使用算法進(jìn)行信貸審批、人才招聘、犯罪風(fēng)險(xiǎn)評(píng)定等等。由于算法在決策中扮演的角色越來越重要，算法決策的公平性也愈發(fā)引起重視。本專題第二期推送為大家介紹了一種將人類意志與算法意志結(jié)合起來以提高算法決策公平性的方法，這一期我們將從算法本身出發(fā)，為大家介紹Zafar等人在Fairness constraints：Mechanisms for Fair Classification這篇論文中所提出的提高決策公平性的機(jī)器學(xué)習(xí)框架。

01

什么是算法決策的不公平性？

簡(jiǎn)單而言，算法決策系統(tǒng)的工作原理是使用大量（訓(xùn)練）數(shù)據(jù)訓(xùn)練出準(zhǔn)確率很高的機(jī)器學(xué)習(xí)模型來對(duì)目標(biāo)群體進(jìn)行分類，從而根據(jù)預(yù)測(cè)結(jié)果進(jìn)行決策。在這一過程中， 若不施加特殊限制，模型常常會(huì)將一些敏感特征（sensitive feature，如性別、種族等）納入分類依據(jù)，并賦予較高的權(quán)重，從而導(dǎo)致決策結(jié)果對(duì)某些特定群體（如女性、黑人等）產(chǎn)生不公平的結(jié)果，即產(chǎn)生我們常說的“算法歧視”。

機(jī)器學(xué)習(xí)領(lǐng)域?qū)⑺惴Q策結(jié)果的不公平性分為三種：差別性對(duì)待（disparate treatment），差別性影響（disparate impact）和差別性誤待（disparate mistreatment）。作者使用了一個(gè)犯罪風(fēng)險(xiǎn)評(píng)定的例子來說明這三種算法不公平性的含義：

圖 1：三種算法決策不公平性示例

如圖1所示，C1，C2 ，C3是三種假想的算法，其決策的任務(wù)是根據(jù)行人的性別、衣服是否有常鼓起和是否接近可能的犯罪地點(diǎn)這三個(gè)特征來判斷路過的行人是否攜帶武器，從而決定是否要將其攔下進(jìn)行搜身。其中，性別是敏感性特征，衣服是否異常鼓起和是否接近犯罪地點(diǎn)為非敏感性特征。下面我們結(jié)合這個(gè)例子來看三種算法不公平性的含義。

Disparate treatment（DT）：差別性對(duì)待，也叫直接歧視（direct discrimination），指的是在其他非敏感性特征相似的情況下，決策結(jié)果僅在敏感性特征不同的群體間有差異。例如Male1和Famle2的衣服都有鼓包并且都接近犯罪地點(diǎn)，但C2算法決定攔截男性而不攔截女性；同樣，算法C3對(duì)擁有相同非敏感性特征的Male2和Famle2也做出了不同的決策，因此C2和C3算法都存在差別性對(duì)待。

Disparate impact（DI）：差別性影響，指的是算法決策所造成的結(jié)果總是對(duì)某種敏感性特征上取某個(gè)值的群體更有利（或更不利）。例如性別這個(gè)敏感性特征有男性和女性兩種取值，算法C1的決策更不利于男性，因?yàn)樵撍惴Q定攔截男性進(jìn)行搜身的概率是100%，而攔截女性的概率只有66%。

Disparate mistreatment（DM）：差別性誤待，是指算法對(duì)某一個(gè)敏感性特征上取不同值的群體的預(yù)測(cè)準(zhǔn)確性有差別。在機(jī)器學(xué)習(xí)中，通常用錯(cuò)誤率來評(píng)估分類模型的準(zhǔn)確性。表1展示了幾種分類錯(cuò)誤率的測(cè)量方式。在上述例子中，C1算法對(duì)男性和女性是否攜帶武器的預(yù)測(cè)的假陰率（false negative rate）分別為為0和0.5；而C2算法對(duì)男性和女性是否攜帶武器的預(yù)測(cè)的假陽(yáng)率（false positive rate）分別為0和1，因此C1和C2算法都存在差別性誤待。

表1：機(jī)器學(xué)習(xí)模型分類錯(cuò)誤率的測(cè)量

02

什么是公平的決策？

從上面的例子可以看出，在實(shí)際應(yīng)用中，算法決策的本質(zhì)是在對(duì)目標(biāo)群體進(jìn)行分類，因此，若要實(shí)現(xiàn)算法決策公平，就要使得分類模型能夠避免上述三類不公平性的產(chǎn)生。從方法上而言，一個(gè)公平的分類模型需要滿足[1]:

1 分類結(jié)果不存在差別性對(duì)待，即分類結(jié)果不受敏感性特征的影響，用公式表達(dá)為：

2 分類結(jié)果不存在差別性影響，即敏感性特征不同的群體有同樣的概率被分到某一類，可表達(dá)為：

3 分類結(jié)果不存在差別性誤待，即分類的（五種）錯(cuò)誤率不受敏感性特征的影響，按照錯(cuò)誤率的計(jì)算方式，可以將這一條件進(jìn)行如下形式化定義：

03

如何實(shí)現(xiàn)決策公平

1.基于公平性約束的機(jī)器學(xué)習(xí)分類模型框架

在厘清了算法公平性的概念后，該團(tuán)隊(duì)嘗試提出一種公平性決策（分類）算法框架，該框架的核心思想是在分類模型的訓(xùn)練過程中加入公平性約束（fairness constraints）。如下圖所示，這框架包含兩個(gè)部分：線性分類器的損失函數(shù)（classifier loss function）和公平性約束（fairness constraints）。前者是為了提高模型的預(yù)測(cè)準(zhǔn)確性，后者是為了保證模型的公平性。

2.對(duì)公平性測(cè)量方式的改進(jìn)

由于方程（3.2）-（3.7）對(duì)公平性的要求非常嚴(yán)格（方程全部使用等號(hào)，相當(dāng)于要求完全不存在任何不公平性），現(xiàn)實(shí)情況往往難以滿足，因此該團(tuán)隊(duì)提出了一種新的決策邊界不公平性（decision boundary unfairness）的測(cè)量方式，在新的測(cè)量方式下：

（1）差別性影響所造成的決策邊界不公平性被定義為“用戶的敏感特征z”與“用戶的特征向量（feature vectors）和決策邊界之間的符號(hào)距離（singed distance）dθ(x) ”的協(xié)方差的均值。

（2）基于不同的分類錯(cuò)誤率定義，差別性誤待所造成的決策邊界不公平性也有不同的測(cè)量方式。例如，整體整體錯(cuò)誤率（overall misclassification rate）可以轉(zhuǎn)化為“用戶的敏感特征z”與“被分錯(cuò)類的用戶的特征向量（feature vectors）和決策邊界之間的符號(hào)距離（singed distance）dθ(x) ”的協(xié)方差；假陽(yáng)性率（false positive rates）可以轉(zhuǎn)化為“用戶的敏感特征z”與“被分錯(cuò)類的且真實(shí)標(biāo)簽為陰性的用戶的特征向量（feature vectors）和決策邊界之間的符號(hào)距離（singed distance）dθ(x) ”的協(xié)方差，其他的錯(cuò)誤率以此類推。

注：1差別性對(duì)待可以通過在訓(xùn)練時(shí)不使用敏感特征來進(jìn)行避免。

2但可能真實(shí)的情況是敏感特征確實(shí)與真實(shí)的分類具有較高的相關(guān)性（例如男性攜帶武器的比例確實(shí)高于女性），在這種情況下，若要避免差別性影響，模型預(yù)測(cè)的準(zhǔn)確性可能會(huì)打折扣。在要求保證模型分類準(zhǔn)確性的情境下（business necessity clause），該團(tuán)隊(duì)也提出了如何對(duì)該框架進(jìn)行調(diào)整來適應(yīng)這種情境的方案。（見原文4.3）

3.如何基于這一框架來設(shè)計(jì)一個(gè)公平的分類模型？

在改進(jìn)了不公平性的測(cè)量方式后，作者使用這一新的決策邊界不公平性對(duì)（3.2）-（3.7）中公平性約束條件進(jìn)行了相應(yīng)的修改（詳見方程（4.2）-（4.9）），放寬了（4.1）中公平性的約束。改進(jìn)后的框架對(duì)公平性的約束條件為：當(dāng)決策邊界不公平性小于某個(gè)閾值時(shí)，便認(rèn)為模型是公平的。基于這一框架，研究者在設(shè)計(jì)具體的分類模型時(shí)只需（4.1）中的Classifier loss fuction換成相應(yīng)的分類模型（如logistic regression分類器，線性SVM和非線性SVM模型等）的損失函數(shù)，將Fairness constraints部分替換成具體的公平性限制函數(shù)（如對(duì)差別性影響的限制）來設(shè)置模型即可。例如，一個(gè)不存在差別性影響的logistic regression分類器可以表達(dá)為：

04

方法評(píng)估

為評(píng)估模型的效果，作者分別使用模擬數(shù)據(jù)和真實(shí)數(shù)據(jù)來評(píng)估這一分類方法在消除分類結(jié)果的差別性影響和差別性誤待上的表現(xiàn)。

1.差別性影響評(píng)估；

（1）logistic regression classifier

如圖2所示，作者首先生成了兩個(gè)數(shù)據(jù)集，每個(gè)數(shù)據(jù)集各有4000個(gè)數(shù)據(jù)點(diǎn)，每一個(gè)點(diǎn)的真實(shí)標(biāo)簽（y=1或y=-1）與其敏感性特征（z=0或z=1）存在不同程度（φ）的相關(guān)（φ值越小，相關(guān)性越大），然后使用這兩個(gè)數(shù)據(jù)集來訓(xùn)練基于公平性約束的logistic regression分類模型。

圖中的實(shí)線表示只關(guān)注準(zhǔn)確性的模型所訓(xùn)練出的分界線，我們把這一模型看作基準(zhǔn)模型，藍(lán)色和黑色虛線分別表示公平性約束的閾值（c）取不同值所訓(xùn)練出的分界線?？梢园l(fā)現(xiàn)，如果僅僅以準(zhǔn)確性作為訓(xùn)練目標(biāo)，模型的分類準(zhǔn)確性會(huì)非常高（Acc=0.87），但分類結(jié)果會(huì)存在不同程度的差別性影響，且敏感性特征與真實(shí)標(biāo)簽的相關(guān)性越高（右圖φ=π/8），分類所產(chǎn)生的差別性影響越大（|0.21-0.87|=0.66）。當(dāng)加入不同程度的公平性限制時(shí)，分類模型（圖中虛線）所產(chǎn)生的差別性影響變小。

圖 2 模型消除差別性影響效果評(píng)估（線性分類器）

注：Acc表示準(zhǔn)確性（accuracy），圖中綠色的點(diǎn)的真實(shí)類別y=1，紅色的點(diǎn)為y=0. 圓圈表示敏感性特征z=1，十字表示敏感性特征z=0。AR（positive class acceptance rate）表示模型將z=0和z=1的數(shù)據(jù)點(diǎn)標(biāo)注為y=1的概率。

（2）非線性SVM模型表現(xiàn)

作者同樣生成了兩個(gè)數(shù)據(jù)集用于訓(xùn)練非線性SVM分類模型。由圖3可看出，在不進(jìn)行任何公平性約束時(shí)(圖a)，SVM模型的分類準(zhǔn)確率（Acc）可達(dá)0.94，但和上述線性分類器相似，沒有公平性約束的模型也產(chǎn)生了不同程度的差別性影響。當(dāng)模型完全限制差別性影響，即公平性約束的閾值取c=0時(shí)，模型所產(chǎn)生的差別性影響相對(duì)較小。

圖3 模型消除差別性影響效果評(píng)估（非線性分類器）

注：無論對(duì)于線性還是非線性分類模型，當(dāng)加入公平性限制時(shí)，模型的預(yù)測(cè)準(zhǔn)確性都會(huì)降低。

2.差別性誤待評(píng)估

作者模擬了兩種情境，在第一種情境下，基準(zhǔn)模型（訓(xùn)練模型時(shí)不施加公平性約束，只關(guān)注準(zhǔn)確性）的分類的結(jié)果只表現(xiàn)為一種類型的差別性誤待——模型對(duì)不同敏感特征群體分類結(jié)果的假陰性率不同或假陽(yáng)性率不同（即公式3.3和3.4其中的一個(gè)不能滿足）；而在第二種情景下，這兩種差別性誤待同時(shí)存在。

圖4 模型消除差別性誤待效果評(píng)估（情境一）

圖4展示了基準(zhǔn)模型（圖中實(shí)線）的分類結(jié)果只存在假陽(yáng)性率不同的情況下，對(duì)假陽(yáng)性率加以約束后訓(xùn)練出的分類器（圖中虛線）能夠縮小模型對(duì)敏感性特征不同的群體分類結(jié)果的假陽(yáng)性率的差異（從0.21降低為0.15），從而減輕分類結(jié)果所造成的差別性誤待。

圖5 模型消除差別性誤待效果評(píng)估（情境二）

而圖5則展示出當(dāng)情景二中兩種差別性誤待同時(shí)訊在的情況下，在模型的訓(xùn)練過程中分別對(duì)假陽(yáng)性率和假陰性率加以限制，或同時(shí)對(duì)二者加以限制，都能縮小不同敏感特征人群分類結(jié)果的假陰性率和假陽(yáng)性率的差異，在一定程度上消除分類結(jié)果所造成的差別性誤待，從而提高分類結(jié)果的公平性。

此外，為了評(píng)估本文提出的基于公平性約束的分類方法在真實(shí)數(shù)據(jù)上的表現(xiàn)，作者使用兩個(gè)真實(shí)數(shù)據(jù)集（Adult income dataset和Bank marketing dataset）對(duì)模型消除差別性影響和差別性誤待的效果進(jìn)行了評(píng)估，并將本文所提出的方法與其他方法進(jìn)行對(duì)比，結(jié)果顯示，本文提出的分類框架能夠較好地制約分類結(jié)果的不公平性，且加入公平性約束條件后對(duì)模型預(yù)測(cè)準(zhǔn)確率的犧牲也較小。

05

總結(jié)

算法決策會(huì)導(dǎo)致三種不公平性：差別性對(duì)待、差別性影響和差別性誤待；因此一個(gè)公平的決策模型需要避免決策結(jié)果存在這三種不公平性，在這篇論文中，作者對(duì)這三種不公平性的測(cè)量方式進(jìn)行了改進(jìn)，提出了測(cè)量決策邊界不公平性（decision boundary unfairness）的方法，并在此基礎(chǔ)上設(shè)計(jì)了一個(gè)促進(jìn)公平?jīng)Q策的分類算法框架——將公平性約束加入分類模型的訓(xùn)練過程，在保證公平性的前提下對(duì)模型的準(zhǔn)確性進(jìn)行優(yōu)化?；谶@一框架而設(shè)計(jì)的線性和非線性分類模型在模擬數(shù)據(jù)和現(xiàn)實(shí)數(shù)據(jù)中的表現(xiàn)均優(yōu)于現(xiàn)有的方法。

這篇文章的層次非常豐富，既介紹了“算法公平”領(lǐng)域的一般性的概念，又提出了一個(gè)具體的公平性算法框架，還對(duì)相關(guān)的研究進(jìn)行了較為全面的綜述，并對(duì)現(xiàn)有的模型進(jìn)行了對(duì)比與總結(jié)，使得讀者能夠窺一斑而見全豹，不同類型的讀者都能有所收獲。對(duì)算法公平感興趣的讀者可以根據(jù)表3順藤摸瓜去閱讀更多的研究。

表3 不同公平性分類方法的比較

參考文獻(xiàn)

[1]y^為模型預(yù)測(cè)的分類，y為真實(shí)的標(biāo)簽，z為敏感性特征，x為非敏感性特征

[2]Zafar, M. B., Valera, I., Rogriguez, M. G., & Gummadi, K. P. (2017, April). Fairness constraints: Mechanisms for fair classification. In Artificial Intelligence and Statistics (pp. 962-970). PMLR.

推薦人

賈小雙，中山大學(xué)社會(huì)學(xué)系在讀博士，研究方向?yàn)橛?jì)算社會(huì)科學(xué)，關(guān)注機(jī)器學(xué)習(xí)中的因果推論、數(shù)據(jù)驅(qū)動(dòng)的社會(huì)分層等傳統(tǒng)與計(jì)算方法相結(jié)合的社會(huì)學(xué)研究。

原標(biāo)題：《如何實(shí)現(xiàn)算法決策公平？》

閱讀原文