【編者按】在過去的2023年，以ChatGPT為代表的大語言模型集中爆發，讓各界看到人工智能全新的可能性，期冀與擔憂并存。為了防止AI發展脫軌，“對齊”概念又重新獲得眾多擁躉。然而，何為“對齊”？“對齊”能實現嗎？它又是否必需呢？若人機（技）融合是人類未來的一個必選項，那么，價值對齊則可能是導引人機（技）融合走向的指南針。數智技術將價值技術化與技術價值化的雙向融合理想樣態是技術邏輯與價值邏輯的完美契合，但這種契合應是基于價值軸而校準技術，而非基于技術規制價值。本文收錄了中國人民大學國家發展與戰略研究院研究員劉永謀，上海交通大學數字化未來與價值研究中心教授閆宏秀，以及復旦大學科技倫理與人類未來研究院教授楊慶峰的文章。三位學者聚焦“AI對齊”這一話題，分析對齊的 可能與潛在危險，并提出“AI對齊”應以人類的能力和規則為邊界。

AI對齊是一種危險的嘗試

劉永謀（中國人民大學國家發展與戰略研究院研究員）

OpenAI“宮斗”大戲，讓AI“對齊”（alignment）一詞不脛而走。好多人認為，奧爾特曼這樣的邪惡資本代言人壓制堅持對齊的正義科學代言人蘇茨克維，我們要站在正義的一方。事實果真如此嗎？通過對齊操作，AI發展就能符合人們的需要、不背離人類的意圖了？真有這么神奇嗎？

質疑AI對齊的可能

何為對齊？它是在機器學習，尤其是大模型技術發展過程中出現的。《人機對齊》一書認為，“如何防止這種災難性的背離——如何確保這些模型捕捉到我們的規范和價值觀，理解我們的意思或意圖，最重要的是，以我們想要的方式行事——已成為計算機科學領域最核心、最緊迫的問題之一。這個問題被稱為對齊問題（the alignment problem）”。也就是說，對齊意味著讓機器學習模型“捕捉”人類的規范或價值觀。

“捕捉”與“灌輸”相對，此時AI遵循的規范來自機器學習，而非工程師的編程輸入。通過大量學習人類行為，AI“搞清楚”人類行為規則，然后按照規則來行事。因此，對齊問題起碼可以一分為二，即對齊什么和如何對齊。

在很多人看來，包括“AI發展的有限主義者”（強調AI發展的有限性和受控性），“對齊什么”這一問題無法完全澄清。

首先，人類并沒有統一的價值觀。生活在不同的國家、地區，不同傳統、文化下的不同性別、階層的人，對同一現象存在不同的價值判斷。比如，面對新冠病毒肆虐，有的人認為保全生命最重要，有的人認為自由活動更重要。大模型究竟要學習誰的行動規則呢？

其次，人類的主流價值觀不斷在變化。比如，一百多年前一夫多妻制在中國流行，現在則屬于重婚的犯罪行為。那么，我們要給大模型輸入什么時間段的資料以供學習呢？

再次，規則存在應然與實然的偏差。比如，男女平等是社會提倡的價值觀，但在現實中性別歧視的現象并不少。如果AI學習真實案例，很可能成為性別歧視主義者。此類問題被稱為大模型的代表性問題，在實踐中屢見不鮮。

最后，有些AI如機器寵物狗，它應該與寵物狗對齊，而不是與人對齊。否則，它成了狗形人，擁有它并沒有養寵物的樂趣。換句話說，不是所有AI均需和人類對齊的。

因此，“對齊什么”問題是“人類、社會和政治問題，機器學習本身無法解決”。對齊什么的問題，本質上是以數據方法或統計方法厘清復雜的人類規則和價值觀的問題。

AI對齊的作用非常有限

從根本上說，上述質疑攻訐的是：道德哲學或倫理學未能完全解決的問題，大數據或統計學技術可能徹底解決嗎？的確，答案是否定的。但是，如同倫理學多少解決了一些價值觀問題，大數據技術對人類規則的學習也不是一點用處都沒有。在日常場景中，并非完全厘清人類價值觀，行動者（agent）才“知道”如何行動。

在多數時間中，AI只需要以常見方式應對特定場合中的常見狀況。在自動駕駛研究中，經常有人以“電車難題”為例來分析。可是，人類駕駛者也極少面對此類高難度決策需要。無論是走“灌輸”還是“學習”路線，自動駕駛汽車均可以隨機方案或直接剎車加以解決。重要的是承擔事故責任，而不是糾結于自動駕駛如何解決“電車難題”。

目前，機器學習模型主要采用模仿和推斷兩種方式來進行AI對齊。前者即看人類怎么做，AI跟著怎么做。模仿存在許多問題，比如過度模仿，很多人炒菜之前都會把袖子卷起來，AI可能會模仿這個不必要的動作。更重要的是，模仿的情境大致差不多，但不可能絕對一樣，起碼時間、地點和對象不同。此時，AI需要對人類行為進行某種推斷，然后得出如何行動的結論。顯然，此類推斷很容易出錯，因為AI的推斷以數據和邏輯為基礎，而人類行為則摻雜非理性尤其是情感因素。

因此，有限主義者認為，AI對齊雖不是完全無用，但作用非常有限。

更重要的是，在人類社會中，大量情境應對是不確定的，無法提煉出某種一致性的社會規則。此時，根本就談不上對齊，也不應該讓AI來處理，而應該交給人類來決策。如果讓AI不明所以地處理，可能導致嚴重而不可逆的后果。并且，AI無法對自己的行為擔責，最后導致“無人擔責”的荒謬情形。

總之，必須牢記：AI對齊非常有限，不可對它期望過高。不少研究者認為，對齊基本上沒有什么用，不過是AI產業界拋出的又一冠冕堂皇的幌子。

制定規則必須靠人

在特定場合、特定任務中，無論是灌輸還是學習，讓AI行動符合人類需求都不難。困難的是所謂“通用AI”，因為無法預知它所“通用”的場景，因而既無法預先“灌輸”所有應對規則，又無法讓其及時“學習”到可靠的應對規則。正是試圖讓機器學習模型“通用”，才會出現所謂的AI對齊問題。很多人認為，AI不可能通用，它不過是專用的替代勞動工具。

因此，有限主義者認為，通用AI難以對齊，讓AI通用非常危險。顯然，它的危險不僅僅在于像ChatGPT一樣可能生成錯誤思想，將人類引入“后真相”的思想混亂中，更在于它與機器人結合起來，很可能導致大量錯誤、危險甚至無可挽救的行動后果。有人擔心超級AI可能統治人類，可能我們更應該擔心的是，依賴沒有對齊的AI，世界會被搞得一團糟。

進一步思考，機器學習模型總結出人類規則，讓機器人按此規則行動，反過來會要求所謂的“AI輔助生存社會”中的人類適應機器的行動。由此，機器規則反倒成了人類規則，人得照著機器的要求活著。因此，“我們必須小心謹慎，不要讓這樣一個世界成為現實：我們的系統不允許超出它們認知的事情發生，它們實際上是在強制執行自己有局限的理解。”

如果將規則制定的權力完全交給機器，AI向人類對齊，演變成人類向AI看齊，其最終的結果，必然加速“人的機器化”，即人類失去靈性和自主性，日益成為智能機器的某種配件。

技術控制的選擇論者認為，無論何時，人類都要努力控制包括AI在內的所有新科技發展，使之有益于人類福祉。如果不確定AI的某一發展能否真正有益，就應該停止和轉變此種AI發展進路，此即我所謂的“AI發展的有限主義進路”。按照這一觀點，規則制定是人類的專屬權利，承擔所制定的規則導致的責任和后果，而AI只負責聽命于人類，執行人類的指令，而不能讓它“擅自”行事。

總之，AI對齊并不是資本與科學、正義與險惡的對峙，而是一種非常危險的嘗試。從這個意義上說，OpenAI“宮斗”大戲是AI圈子又一次高質量的“AI宣傳術”操作。當大家擔憂AI的野蠻生長可能會偏離滿足人類需求的目標時，“AI對齊”給公眾一個印象：該問題完全可以通過對齊來解決的。

【文章為社會科學報“思想工坊”融媒體原創出品，原載于社會科學報第1888期第6版】

《“人之為人”是價值對齊的基準生命線》

閆宏秀（上海交通大學數字化未來與價值研究中心教授）  

數據智能作為大數據和人工智能的融合，其對人類的深度數據化與深度智能化使得數智時代成為了人類社會形態的一個重要特征。基于技術發展為人類帶來福祉的宗旨，技術所體現的價值觀與人類價值觀相一致，即價值對齊（value alignment），是人與機（技）融合所必須面對的一個重要問題。若人機（技）融合是人類未來的一個必選項，那么，價值對齊則可能是導引人機（技）融合走向的指南針。然而，關于技術與非技術的價值對齊、價值對齊的規范性、對齊哪種價值等問題仍存疑慮。價值對齊基準的模糊性是造成上述疑慮的重要原因，且若價值對齊的基準有誤，那么，人類未來必將面臨巨大的風險。因此，探尋數智時代的價值對齊基準是數智技術發展的錨定樁與哲學對時代問題的應有之思，更是對人類本質及其未來探究的必要條件。

人機（技）融合：價值對齊基準的切入點

無論是控制論創始人諾伯特·維納（Norbert Wiener）在20世紀在關于自動化的道德問題和技術后果的探討中所提出的警示，還是人工智能領域的專家斯圖爾特·羅素（Stuart J.Russell）等在21世紀關于智能系統決策質量的質疑中，針對“效用函數可能與人類的價值觀不完全一致，且這些價值觀（充其量）很難確定”，“任何能力足夠強的智能系統都傾向于確保自己的持續存在，并獲取物理和計算資源——不是為了它們自己，而是為了成功地完成它被分配的任務”的存疑，都是旨在期冀確保人工智能系統的選擇和行動所體現的價值觀與其所服務的人的價值觀一致。易言之，人工智能系統必須與人類價值對齊才能確保人工智能有效發揮作用。

在當下，數智技術的生成性、涌現性、交互性、適應性、擬主體性等特性所帶來的價值對齊過程中的越獄、幻覺、“欺騙性對齊”“偽對齊”等價值對齊失常現象備受關注。特別在基于目標導向的價值對齊過程中，多智能體協同所產生的問題引發了技術邏輯與人類訴求之間的斷裂，關于三體或多體協同的溝通和協調機制所帶來的多主體超邏輯關系隨之而至，是否會出現一種新的協同論或者超級對齊已經成為技術專家關注的話題。在我們的日常生活場景中，人機（技）之間的做事邏輯差異、數據邏輯與非數據邏輯之間的契合、價值對齊中的人與機（技）之間的機器思維與人類思維的溝通與理解盲區、機器與機器之間的不兼容等已經成為人機（技）融合正在攻克的難題。

事實上，對價值對齊問題的熱議來自機器學習與人類價值觀之間的未對齊、對齊擔憂、對齊恐懼等，恰如《對齊問題》的作者布萊恩·克里斯汀（Brian Christian）在關于對齊問題的研究中所示，“機器學習表面是技術問題，但越來越多地涉及人類問題”，因此，數智時代的價值對齊不僅是技術價值觀與人類價值觀念之間的互為生成型問題，更是數據智能價值對齊的頂層邏輯與底層邏輯之間的融貫性問題。基于此，探尋數智時代的價值對齊基準必須以人機（技）融合為切入點。然而，更需要高度警惕的是這種融合所帶來的技術邏輯泛濫，特別是在數智化的進程中，伴隨技術自主性的日趨增長所形成的技術閉環是否會導致人在技術回路中的脫軌或曰被抽離問題。

人之為人：價值對齊基準探尋的生命線

雖然技術作為一種基礎設施是構成數智時代的必不可少的基本要素，價值對齊是通過技術所展開的人類訴求的實現過程，但人類社會的特質恰恰在于人具有價值屬性，而并非僅僅是技術。當維納在《人有人的用處》一書中提出“我是相信人類社會遠比螞蟻社會有用得多；要是把人判定并限制在永遠重復執行同一職能的話，我擔心，他甚至不是一只好螞蟻，更不用說是個好人了”之時，他將“人之為人”這一哲學話題賦予了某種技術化的解讀。事實上，人類一直在跟上時代的步伐，或者創造一個時代，在時代的進程中留下自己的痕跡。那么，當時代由技術界定的時候，人類該跟上何種步伐呢？此時的“人之為人”這個問題是一道送分題還是一道送命題呢？當下人類對于技術的憂懼使得該題顯然不是一道送分題；但與此同時，毫無疑問的是，基于人類對自身的本能性捍衛使得該題更不能是一道送命題。

面對數智時代的到來，人類的生存、生產、生活、生成已經出現了被技術接管的跡象，關于人類命運的悲情預判與超級智能相應的超級對齊研發相映成趣。如，僅僅在2016年，關于替代性制裁的懲罰性罪犯管理量表（Correctional Offender Management Profiling for Alternative Sanctions，簡稱COMPAS）的爭議再次引發了關于技術霸權的熱議；數據科學家凱西·奧尼爾（Cathy O’NeiL）基于算法在諸多領域的負面效用將其視為數學殺傷性武器；法學教授阿里爾·扎拉奇（Ariel Ezrachi）和莫里斯·E.斯圖克（Maurice E. Stucke）關于“計算機在默許共謀開展的過程中既無懼經濟處罰或牢獄之災，也不會在沖動與憤怒中胡亂行事”的警示等，將價值對齊過程中人被技術邏輯宰制的現象予以了揭示，觸發了對人之為人的哲學反思。

人類的生物性缺陷使其需要憑借技術獲得生命得以維系的可能性，并以技術重塑著人的本質。在技術化的進程中，自我的延續與重塑同步進行，并以現代人的姿態展示著人之為人的意義。然而，在人類社會的數智化進程中，恰如社會學家克里斯多夫·庫克里克（Christoph Kucklic）所揭示：現代人的驕傲是我們能夠成為某個人并且能夠堅持做這個人。微粒人的驕傲在于一直成為另外一個人，同時不會失去自我。這是一個極其苛刻的態度。同樣地，面對價值對齊時，人類若不愿僅僅作為一個技術節點，那么，守護人之為人的本真就應當是探尋價值對齊基準的生命線。

技術向善：價值對齊基準探尋的融合點

數據智能將人類智能與機器進行融合，基于任務完成的價值對齊凸顯了技術工具論的有效性，但諸如欺騙性對齊的價值對齊“陷阱”、價值對齊進程中的人類價值觀共識的不確定性、價值對齊中的人與機（技）之間的機器思維與人類思維的溝通與理解盲區所形成的技術鴻溝與價值觀鴻溝、機器與機器之間的價值對齊不兼容，以及價值對齊進程中的齊一化所帶來的價值異化等問題使得技術工具論遭遇重重詰難。基于此，技術工具論的局限性與技術價值論對其的矯正必將帶出對這種對齊的哲學審視。

易言之，價值對齊并非僅僅是將技術道德化的實踐轉化，而是應在超越技術工具論的基礎上，對將技術道德化的前提條件進行哲學審視，才能有效破解數智時代的價值對齊問題，通向價值對齊基準的合理探尋。事實上，數智技術將價值技術化與技術價值化雙向融合的理想樣態是技術邏輯與價值邏輯的完美契合，但這種契合應是基于價值軸而校準技術，而非基于技術規制價值。就基于價值軸而校準技術而言，溫德爾·華萊士（Wendell Wallach）、香農·沃倫（Shannon Vallor）、伊森·加布里埃爾（Iason Gabriel）等技術倫理研究者們明確指出“自上而下”和“自下而上”價值對齊路徑都存在不足。其中，自上而下的方法面對的問題在于為人工智能預先設計的道德規則之間可能存在沖突，同時何為正確的道德框架本身值得商榷；而自下而上的方法則會遇到由系統學習過程的不透明性與道德偏好的差異性帶來的挑戰，進而亟需探尋一個更合理的融合點作為價值對齊的基準。

此時，回望技術的本意，古希臘哲學家亞里士多德早就已經將技術與善進行了深度關聯。如，他在《尼各馬可倫理學》的開篇就明確指出，“每種技藝與研究，同樣地，人的每種實踐與選擇，都以某種善為目的。”就價值對齊而言，從狹義的角度來看，若其僅僅被作為一種技術路徑，那么，技術向善就應是技術發展的應有之義；從廣義的角度來看，無論對齊哪種價值觀，或者與誰對齊，或者如何對齊，技術向善都應是永恒的宗旨。因此，基于上述兩個維度，技術向善就是價值對齊基準探尋的一個融合點。

【上海市哲學社會科學規劃項目“數智時代的價值對齊研究”（2023BZX001）階段性研究成果】

【文章為社會科學報“思想工坊”融媒體原創出品，原載于社會科學報第1889期第6版】

對齊：使人工智能以人類能力為邊界

楊慶峰（復旦大學科技倫理與人類未來研究院教授）

將對齊問題理解為價值對齊是一個美麗的錯誤，其實質是人工智能倫理與治理問題推動的一個偶然結果。

隨著大模型討論的深入，很多學者越來越青睞于對齊概念，并且將之作為人工智能治理的重要概念來看待。那么它在什么意義上可以成為AI治理的基本概念呢？我們需要對這一概念目前的使用情況做出分析才能夠很好地回應這個問題，而這一切的關鍵是識別誤解和做出正解。

對齊不是強制 

一種普遍誤解是認為對齊實質是價值對齊。在這種理解之下，對齊需要做的是解決對齊什么、怎么樣對齊以及對齊何者的價值等問題。然而，這種誤解卻存在諸多危害，容易讓我們對AI與人類的討論又回到嵌入陷阱。在多年前，關于道德嵌入問題的討論，學術界糾纏于何種人類道德觀念被嵌入機器以及如何嵌入機器。這一場討論漫長而令人厭倦，卻沒有什么結果。

如果將對齊問題理解為價值對齊，我們會重新面對嵌入陷阱。對齊什么樣的價值觀念、對齊誰的價值觀念以及如何對齊等等問題又會散發出陣陣異味。糾正這種看法，我們可以從經驗和理論兩個層面展開分析。

從經驗層面看，對齊是特定機構應對特定問題的當下對策。在人工智能領域，這個問題來自OpenAI公司，它讓全世界看到了GPT系列的威力，他們自己也非常擔心GPT系列必然會通向通用智能（AGI），最終會導致超級智能的出現。為此，他們成立了超級智能對齊研究中心及其團隊。在探索對齊的過程中，雖然ChatGPT的基礎算法是transformer，其中最重要的一個機制是基于人類反饋的增強學習（RLHF），從根本上來說，這一算法是谷歌開發的，但OpenAI并沒有遵循谷歌老路——基于人類的對齊，而是走出了以弱勝強的對齊新路徑。這條路徑并不是人機對齊，而是采取了機機對齊的方式。他們希望通過這種方式來防止超級智能的失控。

從理論層面看，對齊與強制并沒有任何關系。有些學者認為對齊實質是強制。筆者也曾經用普洛克路斯忒斯床鋪意象（Procrustean bed）來說明算法強制。如果從這一點看，人機對齊似乎變成了把機器價值強制塞進人類的價值框架中從而實現所謂的對齊。很顯然，這種理解是錯誤的。因此，對齊絕不是一種強制，使得某物與某物一致。從增強角度理解對齊是一個恰當的選擇。人工智能專家李飛飛教授將人工智能與人類的關系描述為增強關系，從她的觀點看，人工智能應該增強人類的各種能力，如交互、感知、推理、反思、預測和決策。那么對齊就可以理解為，使人工智能以人類的各種能力為邊界，從而不會產生超級智能取代等人類擔心的問題。

在科學語境中理解“對齊” 

要正確理解對齊必須把這個概念放入科學語境中。將對齊問題理解為價值對齊是一個美麗的錯誤，其實質是人工智能倫理與治理問題推動的一個偶然結果。如果我們進入到科學活動中有望改變這一點。2023年OpenAI發布了一篇名為《由弱到強泛化：用弱監管發揮強能力》（Weak-to-Strong Generalization:Eliciting Strong Capablitibies With Weak Supervision），大意是目前廣泛使用的對齊技術是基于人類反饋的強化學習（RLHF），這種方法廣泛依賴人類監管模型的行為，比如一個模型是否執行指令或者生成安全的輸出結果。但是這種方法不能很好地實現對超級智能的監管。因此，這篇文章提出了弱機器監管者監管強機器的做法。文章中的插圖很有趣，恰好能說明作者思路：傳統模式是人類控制機器，在此基礎上人類要監管超級智能；新模式是機器監管機器。這才是OpenAI所說的對齊的核心所在。

在這篇文章中，作者尤其強調了對齊和價值問題沒有關系。他們針對對齊方案提出一個假設。“不需要解決人類價值問題，在我們能夠很好地對齊一個超級研究者模型之前，我們假設我們不需要解決人類價值以及價值整合這一困難的哲學問題，以避免災難性結果。”這個假設的提出使得我們更加確認了一種認識：將對齊問題誤解為價值對齊完全脫離了OpenAI的本意。

對齊本意的指向是，在超級智能失控之前，人工智能研究者應該發展出適合超級智能對齊的方案。他們提出的“由弱到強”就是一個嘗試：由弱機器監管超級機器，并且能夠實現超級能力。有趣的是，OpenAI這一做法恰好可以在中國古老的智慧觀念中找到根據。在中國文化中有著“以弱勝強”的觀念，水滴不斷滴下，時間久了石頭會出現一個洞；水流長時間沖刷石頭，會讓石頭變得圓滑。因此，以弱勝強還是可能的。

對齊是為了應對通用、超級智能

因此，將對齊觀念作為人工智能治理的基礎概念確立起來，我們需要注意兩點。其一不能過度解釋，而將對齊問題過度解釋為價值對齊很顯然是一種表現。如果說，可以利用人工智能增強人類的各種能力，那么對齊則是把握人工智能不致跨越人類能力邊界的有效方式。對齊就可以理解為使得人工智能以人類的各種能力為邊界，從而不會產生超級智能取代等人類擔心的問題。其二，把對齊放入真實的問題中才能夠正確地理解這一問題。這一觀念的真實語境應該看作通用智能。從當下看，對齊是為了應對通用智能而生，從長遠來看，更是應對超級智能的結果。

【本文為科技部科技創新2030——“新一代人工智能”重大項目（2022ZD016013）階段性成果】

【《社會科學報》總第1888期6版】