在出行平臺上預訂酒店，發現會員等級越高價格越貴；在外賣平臺上點餐，開通會員之后配送費就漲了幾塊錢；用蘋果和安卓手機叫網約車，時間和起止點都一樣，價格卻相差了不少；去售樓處看房不知不覺中被人臉識別，接著被劃成某一類型的客戶得到“定制化”的待遇；在電商網站上買了會員，看到的價格就比非會員貴了不少，甚至它還會預測你下一次購買同類商品的時間，到了時間就漲價……

近幾年來，類似上面的報道屢見不鮮。這種商家通過大數據建立用戶畫像，為同樣的產品制定差異化的價格從而使商家利益最大化的行為，被人們稱為“大數據殺熟”。然而，由于消費者和企業之間的信息不對稱，加上法律并沒有要求企業公開相關算法，因此這樣的指控往往很容易被搪塞。大部分時候，我們只能基于合理的懷疑對它們作一些道義上的批評。

其實，人們對“大數據殺熟”的擔憂，并不只是多花了一點錢那么簡單。而是面對可能的“數據霸權”和“算法統治”的來臨，人們深懷恐懼感和無力感。《個人信息保護法》（以下簡稱“該法”）的出臺，讓我們看到了把技術的“利維坦”（一種傳說中的怪獸）關進籠子里的曙光。

首先，該法對這類行為下了一個定義，即“自動化決策”，“是指通過計算機程序自動分析、評估個人的行為習慣、興趣愛好或者經濟、健康、信用狀況等，并進行決策的活動”。

第二，該法賦予了個人以知情權，“個人信息處理者利用個人信息進行自動化決策，應當保證決策的透明度和結果公平、公正，不得對個人在交易價格等交易條件上實行不合理的差別待遇”。

第三，該法賦予了個人以選擇權，“通過自動化決策方式向個人進行信息推送、商業營銷，應當同時提供不針對其個人特征的選項，或者向個人提供便捷的拒絕方式”，“通過自動化決策方式作出對個人權益有重大影響的決定，個人有權要求個人信息處理者予以說明，并有權拒絕個人信息處理者僅通過自動化決策的方式作出決定”。

該法的出臺，在對“自動化決策”的規范上邁出了重要一步，也還有不少細節可以進一步討論。在這里，我想援引美國學者弗吉尼亞·尤班克斯的著作《自動不平等：高科技如何鎖定、管制和懲罰窮人》中的例子來加以說明。

《自動不平等：高科技如何鎖定、管制和懲罰窮人》，弗吉尼亞·尤班克斯 著，李明倩 譯，商務印書館2021版

首先，該法把規范的對象局限于完全的自動化決策，而很多決策行為表面上是技術輔助下的人工決策，但由于決策者對機器的信任以及缺乏時間、精力或意愿，名義上的輔助決策可能實際上仍是自動化決策，個人的選擇權可能成為空談。

尤班克斯舉例說，一個地方政府引進了根據家長行為數據來預測兒童受虐風險的系統。盡管該系統聲明“無意作出決定”，但它的打分還是會對調查員的決策產生重大影響。“我們都傾向于服從機器，因為機器看起來更中立、更客觀”，于是調查員會認為自己遺漏了某些信息，進而去尋找相關的證據以使自己的調查結論與機器的打分相匹配。

其次，該法規定了自動化決策活動應當具有透明度，但并未明確透明度應當達到的具體程度。可以理解，出于知識產權和商業秘密的考量，我們很難要求決策者公開全部算法，但是該法對“個人信息處理者予以說明”的要求有點簡單，可能讓“說明”變成“托詞”，就像一家外賣平臺所解釋的，配送費漲價只是因為定位誤差。

尤班克斯分析了一個州政府引入福利資格自動化處理系統的案例，該系統會對未能通過審批的申請者給一個極其簡短和官僚化的說明，例如“未能配合福利資格確認程序”“未能配合核實收入”，而申請者要在很短的申訴期限內找到問題并且修正它極為困難，“很多申請者化身為堅持不懈的偵探，在數十頁的復雜申請流程之中尋找是否有任何錯誤之處”。

第三，該法將個人知情權和選擇權的行使條件，局限于“對個人權益有重大影響的決定”。然而，自動化不平等并非在一夜之間突然發生的，它是一個量變引起質變的過程并且具有隱蔽性，當人們發現“重大影響”發生之時往往為時已晚。

還是以那個預測兒童受虐風險的系統為例，該系統聲稱在孩子出生之時甚至出生之前，就能預測到他們是否會受到虐待。對家長行為的132個變量的記錄和分析，早在孩子出生之前就開始了。而直到警察突然出現在自家門口的那一天，家長才知道自己早已被鎖定。而當家長被帶走、孩子被送到福利院之后，系統又認為自己作出了一個成功的預測，從而進一步加強帶有歧視性的算法。

最后，該法對信息推送和商業營銷領域的自動化決策作了專門規范，我們對“大數據殺熟”和“自動化決策”的討論也大多局限在商業領域。而尤班克斯書中所舉的自動化不平等案例都來自公共服務領域，但被“殺熟”帶來的金錢上的損失跟一個人在政治和社會上遭受的不平等相比可以說是微不足道的。本質上而言，自動化不平等損害了社會的包容性，扭曲了公平正義的價值觀，最終傷害的是我們所有人。

自動化不平等的風險，已經離我們越來越近。面對海量的求職者，亞馬遜曾經用AI來篩選簡歷并自動打分，這一系統對所有包含“女性”一詞的簡歷打了低分，例如“女性國際象棋俱樂部”以及“女子學院”，所幸這一系統已經被停用。學者還發現，AI更傾向于給與廚房有關的照片貼上“女人”的標簽，例如一張男人在爐子旁的照片就被標記為了“女人”。如果這樣的不平等得不到糾正，將來也許一個家務機器人看到男人在廚房時會送上啤酒，而看到女人在廚房時會送上洗滌劑。

對抗自動化不平等的風險，不僅需要技術層面的實踐，更需要制度層面的約束。在這方面，全球已有不少政府、企業和社會組織開始行動。截至2019年，全球已有八十多份人工智能倫理準則發布，透明、公正和公平、非惡意、責任和隱私是提到最多的關鍵詞。在上述原則的指引下，實踐界和學術界還需要進一步深入探索。

“我看過沙漠下暴雨，看過大海親吻鯊魚，看過黃昏追逐黎明，沒看過你”（陳粒）。如果有一天，當算法統治了沙漠、大海和黃昏，希望我們至少能把“看過你”這件事留給自己。

（作者王翔為復旦大學數字與移動治理實驗室研究員、主任助理，主要研究方向為數字時代的公共治理、公共部門人力資源管理。）