上世紀(jì)80年代，Hinton看《終結(jié)者》時(shí)，沒(méi)有被影片中的AI毀滅世界困擾。相反，他很高興看到神經(jīng)網(wǎng)絡(luò)技術(shù)被描繪得如此有前途。

數(shù)十年來(lái)，Hinton設(shè)計(jì)了很多新點(diǎn)子來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。他招募了很多研究生，讓大家相信神經(jīng)網(wǎng)絡(luò)不是一條死胡同。他認(rèn)為自己參與的項(xiàng)目會(huì)在100年后，也就是在他死后才能取得成果。

他的昆蟲(chóng)學(xué)家父親曾說(shuō)：“如果你比我努力兩倍，當(dāng)你年紀(jì)是我兩倍大時(shí)，或許才能達(dá)到我一半的成就?！痹趧虼髮W(xué)，Hinton嘗試了多個(gè)領(lǐng)域。但令他沮喪的是，在任何一門(mén)課程中，他都不是班上最聰明的學(xué)生。

在夏天的島嶼上，Hinton偶爾會(huì)捉蛇，并放進(jìn)一個(gè)玻璃缸，觀察它們的行為。他的一生都在思考如何“自下而上”地理解思維，因此對(duì)非人類(lèi)的心智有獨(dú)到的洞察力。

在蛹里，毛毛蟲(chóng)被溶解成湯狀物質(zhì)——然后你從“這鍋湯”中構(gòu)建出一只蝴蝶。毛毛蟲(chóng)代表了用于訓(xùn)練現(xiàn)代神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)；而蝴蝶則象征從這些數(shù)據(jù)中誕生的AI。而深度學(xué)習(xí)——Hinton開(kāi)創(chuàng)的技術(shù)——促成了這種蛻變。

Hinton堅(jiān)信AI擁有情感。他認(rèn)為，情感的本質(zhì)就是對(duì)無(wú)法擁有之物的渴求。

Geoffrey E. Hinton大概沒(méi)想到諾貝爾物理學(xué)獎(jiǎng)?lì)C給了自己。收到消息后，他被迫取消了預(yù)約好的核磁共振。

2024年諾貝爾物理學(xué)獎(jiǎng)揭曉。機(jī)器學(xué)習(xí)專(zhuān)家John J. Hopfield、AI 教父Geoffrey E. Hinton榮獲此獎(jiǎng)，以表彰他們“基于人工神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)機(jī)器學(xué)習(xí)的基礎(chǔ)性發(fā)現(xiàn)和發(fā)明”。

回顧Hinton近兩年的變化，可以用“戲劇化”形容。曾經(jīng)他是AI 教父，畢生致力于教會(huì)計(jì)算機(jī)深度學(xué)習(xí)。如今他是AI安全斗士，擔(dān)心AI是否已經(jīng)超越了人類(lèi)大腦的能力，認(rèn)為AI最終會(huì)和人類(lèi)爭(zhēng)奪控制權(quán)。

為何Hioton出現(xiàn)了這樣的變化？他眼中的AI將成長(zhǎng)為何種“怪物”？一篇長(zhǎng)文從Hioton的經(jīng)歷和神經(jīng)網(wǎng)絡(luò)技術(shù)講起，帶我們了解這位深度學(xué)習(xí)巨擘的AI往事。

下面是全文翻譯，適道進(jìn)行了部分刪減和調(diào)整。enjoy～

為何AI教父懼怕自己創(chuàng)造的技術(shù)？

“如果能獲得更多控制權(quán)，它幾乎能實(shí)現(xiàn)一切目標(biāo)”Hinton談及AI時(shí)說(shuō)道，“研究的核心問(wèn)題是：你如何防止AI掌控一切？然而，目前沒(méi)有人知道答案?！?/p>

Geoffrey Hinton，這位被稱(chēng)為“AI教父”的計(jì)算機(jī)科學(xué)家，遞給了我一根手杖。“你可能會(huì)用到這個(gè)”他說(shuō)著，便沿著小徑朝湖邊走去。那條小徑穿過(guò)一個(gè)綠蔭掩映的空地，繞過(guò)幾間小屋，接著順著石階通向一個(gè)小碼頭。我們站在安大略省喬治亞灣的一塊巖石上，往西望去，延伸至休倫湖。水面上星羅棋布的島嶼點(diǎn)綴其中。

2013年，65歲的Hinton買(mǎi)下了這座島嶼。彼時(shí)，他剛剛將一個(gè)由三人組成的創(chuàng)業(yè)公司以4400萬(wàn)美元的價(jià)格賣(mài)給了Google。

01 30年神經(jīng)網(wǎng)絡(luò)“冷板凳”

在此之前，Hinton在多倫多大學(xué)擔(dān)任了30余年的計(jì)算機(jī)科學(xué)教授，專(zhuān)攻一種名為神經(jīng)網(wǎng)絡(luò)的“冷門(mén)”領(lǐng)域。

神經(jīng)網(wǎng)絡(luò)是受人腦神經(jīng)元連接方式的啟發(fā)。

在你的大腦中，神經(jīng)元組成了大大小小的網(wǎng)絡(luò)。每一次行動(dòng)、思考，網(wǎng)絡(luò)都會(huì)隨之變化：神經(jīng)元要么被納入，要么被刪除，而它們之間的連接則會(huì)加強(qiáng)或減弱。

這個(gè)過(guò)程無(wú)時(shí)無(wú)刻不在發(fā)生——就像現(xiàn)在，當(dāng)你閱讀這些文字時(shí)。其規(guī)模之大，難以想象。你的大腦中大約有800億個(gè)神經(jīng)元，彼此間共享超過(guò)100萬(wàn)億個(gè)連接。你的顱骨里仿佛藏著一個(gè)星系，其恒星總在不停移動(dòng)。

新的知識(shí)以微調(diào)的形式融入你現(xiàn)有的神經(jīng)網(wǎng)絡(luò)中。有時(shí)它們是短暫的：比如你在派對(duì)上認(rèn)識(shí)一個(gè)陌生人，他的名字可能只會(huì)在你的記憶網(wǎng)絡(luò)中留下短暫的痕跡。但有時(shí)記憶卻會(huì)伴隨你一生，比如當(dāng)那個(gè)陌生人成了你的伴侶。

新知識(shí)與舊知識(shí)相互交織，你的舊知識(shí)會(huì)影響你未來(lái)的學(xué)習(xí)。比如，當(dāng)派對(duì)上有人提到他去阿姆斯特丹旅行的經(jīng)歷。第二天，如果你走進(jìn)博物館時(shí)，你的神經(jīng)網(wǎng)絡(luò)可能會(huì)輕輕地將你推向荷蘭畫(huà)家維米爾的作品。正是通過(guò)這種細(xì)微的變化，才可能成就深刻的轉(zhuǎn)變。

一開(kāi)始，人工神經(jīng)網(wǎng)絡(luò)不怎么奏效——無(wú)論是圖像分類(lèi)、語(yǔ)音識(shí)別，還是其他應(yīng)用——大多數(shù)研究者認(rèn)為該領(lǐng)域就是浪費(fèi)時(shí)間。

“我們的神經(jīng)網(wǎng)絡(luò)當(dāng)時(shí)甚至連一個(gè)小孩都比不上”Hinton回憶道。

上世紀(jì)80年代，當(dāng)他看《終結(jié)者》時(shí)，并沒(méi)有被影片中的AI毀滅世界困擾。相反，他很高興看到神經(jīng)網(wǎng)絡(luò)技術(shù)被描繪得如此有前途。

數(shù)十年來(lái)，Hinton不斷嘗試構(gòu)建更大、更復(fù)雜的神經(jīng)網(wǎng)絡(luò)。

他設(shè)計(jì)出很多新點(diǎn)子訓(xùn)練神經(jīng)網(wǎng)絡(luò)，不斷提升性能。

他招募了很多研究生，讓大家相信神經(jīng)網(wǎng)絡(luò)不是一條死胡同。

他認(rèn)為自己參與的項(xiàng)目會(huì)在100年后，也就是在他死后才能取得成果。

與此同時(shí)，他成了鰥夫，獨(dú)自撫養(yǎng)兩個(gè)年幼的孩子。在一段特別艱難的日子，家庭和研究的雙重壓力讓他幾乎瀕臨崩潰。

他曾以為自己在46歲時(shí)就徹底放棄了。

誰(shuí)也沒(méi)預(yù)料到，大約十年前，神經(jīng)網(wǎng)絡(luò)技術(shù)開(kāi)始突飛猛進(jìn)。

隨著計(jì)算機(jī)速度提升，神經(jīng)網(wǎng)絡(luò)能夠借助互聯(lián)網(wǎng)上的海量數(shù)據(jù)，開(kāi)始轉(zhuǎn)錄語(yǔ)音、玩游戲、翻譯語(yǔ)言，甚至實(shí)現(xiàn)自動(dòng)駕駛。

就在Hinton公司被收購(gòu)前后，人工智能迅速崛起，催生了OpenAI的ChatGPT和Google的Bard等系統(tǒng)，許多人相信這些技術(shù)正以不可預(yù)知的方式改變世界。

02 AI會(huì)變成“異形”嗎？

每當(dāng)我們學(xué)習(xí)時(shí)，我們的大腦神經(jīng)網(wǎng)絡(luò)都會(huì)發(fā)生變化——具體是如何發(fā)生的呢？

像Hinton這樣的研究者通過(guò)計(jì)算機(jī)，試圖找到神經(jīng)網(wǎng)絡(luò)的“學(xué)習(xí)算法”，即一種通過(guò)調(diào)整人工神經(jīng)元之間連接的統(tǒng)計(jì)“權(quán)重”來(lái)吸納新知識(shí)的程序。

1949年，心理學(xué)家Donald Hebb提出了一個(gè)人類(lèi)學(xué)習(xí)過(guò)程的簡(jiǎn)單規(guī)則——同步激活的神經(jīng)元將會(huì)連接在一起。即，當(dāng)你大腦中的一組神經(jīng)元被同步激活，它們就更有可能再次激活。簡(jiǎn)單來(lái)講，當(dāng)你第二次做一道菜時(shí)，會(huì)比第一次容易得多。

但很快人們就發(fā)現(xiàn)，對(duì)于計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)而言，這一方法解決不了復(fù)雜問(wèn)題。

上世紀(jì)60、70年代，青年研究者Hinton常常在筆記本中畫(huà)出神經(jīng)網(wǎng)絡(luò)，并想象新知識(shí)如何到達(dá)它們的邊界。他思索著，一個(gè)由幾百個(gè)人工神經(jīng)元組成的網(wǎng)絡(luò)如何存儲(chǔ)一個(gè)概念？如果這個(gè)概念被證實(shí)是錯(cuò)誤的，它又將如何進(jìn)行修正？

Hinton的父親是一位著名的昆蟲(chóng)學(xué)家。孩提時(shí)代，他和父親在車(chē)庫(kù)里養(yǎng)了一坑的毒蛇、烏龜、青蛙、蟾蜍和蜥蜴。如今，Hinton每年夏季都會(huì)待在島上，偶爾還會(huì)捉到蛇并帶進(jìn)屋里，放進(jìn)一個(gè)玻璃缸，借此觀察它們的行為。他的一生都在思考如何“自下而上”地理解思維，因此對(duì)非人類(lèi)的心智有獨(dú)到的洞察力。

今年早些時(shí)候（2023年5月），Hinton離開(kāi)了Google。他開(kāi)始擔(dān)憂潛在的AI威脅，并在采訪中談?wù)揂I對(duì)人類(lèi)種族構(gòu)成的“生存威脅”。他越是使用ChatGPT，心中的不安就越強(qiáng)烈。某天，F(xiàn)ox News的一名記者聯(lián)系他，要求就AI問(wèn)題進(jìn)行采訪。

Hinton喜歡用尖刻的單句回復(fù)電子郵件。比如，在收到一封來(lái)自加拿大情報(bào)局的冗長(zhǎng)來(lái)信后，他回復(fù)了一句“斯諾登是我的英雄”。

這次，他的回復(fù)依然玩了一把幽默：“Fox News is an oxy moron.（自相矛盾）”。

出于好奇，Hinton問(wèn)ChatGPT能否解釋他的笑話。

ChatGPT：這句話暗示Fox News是假新聞。

當(dāng)Hinton強(qiáng)調(diào)“moron”前的空格時(shí)，ChatGPT進(jìn)一步解釋?zhuān)哼@意味著Fox News像止痛藥OxyContin一樣讓人上癮。

Hinton對(duì)此感到震驚，這種理解力似乎預(yù)示著AI進(jìn)入了一個(gè)全新時(shí)代。

雖然大家對(duì)AI崛起有許多擔(dān)憂的理由——被搶工作等等。

然而，Hinton與許多知名的科技人士站在了一起，比如OpenAI首席執(zhí)行官Sam Altman，他們警告稱(chēng)AI可能會(huì)開(kāi)始自主思考，甚至試圖接管或消滅人類(lèi)文明。

當(dāng)你聽(tīng)到一位如此重量級(jí)的AI研究者發(fā)出如此驚人的觀點(diǎn)，令人震撼。

“很多人說(shuō)，LLM就是一個(gè)很高級(jí)的自動(dòng)補(bǔ)全功能?！盚inton對(duì)我說(shuō)，“現(xiàn)在，讓我們來(lái)分析一下。假設(shè)你想成為預(yù)測(cè)下一個(gè)單詞的高手。如果你想成為真正的高手，就必須理解別人在說(shuō)什么?！?/p>

“這是唯一的辦法。因此，通過(guò)訓(xùn)練讓某個(gè)東西真正擅長(zhǎng)預(yù)測(cè)下一個(gè)單詞，實(shí)際上就是強(qiáng)迫它去理解。是的，這是確實(shí)只是‘自動(dòng)補(bǔ)全’——-但你并沒(méi)有想清楚擁有一個(gè)極其優(yōu)秀的‘自動(dòng)補(bǔ)全’意味著什么”。

Hinton認(rèn)為，像GPT這樣的LLM確實(shí)能理解詞語(yǔ)和概念的含義。

那些懷疑我們高估AI能力的人指出——人類(lèi)思維與神經(jīng)網(wǎng)絡(luò)之間有很大的差距。

首先，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式與我們不同：人類(lèi)是通過(guò)實(shí)際經(jīng)驗(yàn)，理解現(xiàn)實(shí)世界與自我的關(guān)系，自然地獲取知識(shí)；而神經(jīng)網(wǎng)絡(luò)則是通過(guò)處理大量信息庫(kù)中的數(shù)據(jù)，以抽象的方式學(xué)習(xí)一個(gè)它不能真正生活的世界。

然而Hinton認(rèn)為，AI展現(xiàn)出的智慧已超越了其人工的起源。

他說(shuō)：“當(dāng)你吃東西時(shí)，你會(huì)攝入食物，然后把它分解成微小的各個(gè)部分。但如果你說(shuō)——我身體里的部分物質(zhì)由其他動(dòng)物的部分物質(zhì)組成。這是不可能的?！?/p>

Hinton認(rèn)為：通過(guò)分析人類(lèi)的寫(xiě)作，像GPT這樣的LLM能夠了解世界是如何運(yùn)轉(zhuǎn)的，從而誕生一個(gè)具備思維能力的系統(tǒng)。

而寫(xiě)作只是這個(gè)系統(tǒng)功能的一部分。他繼續(xù)說(shuō)道：“這就類(lèi)似于毛毛蟲(chóng)變蝴蝶的過(guò)程。在蛹里，毛毛蟲(chóng)被溶解成湯狀物質(zhì)——然后你從這鍋湯中構(gòu)建出一只蝴蝶。”

“蜻蜓的幼蟲(chóng)是生活在水下的怪物，就像電影《異形》中一樣，蜻蜓從怪物的背部爬出。幼蟲(chóng)在這個(gè)階段變成了一鍋‘湯’，然后蜻蜓從‘湯’中誕生了?！?/p>

在Hinton的比喻中，幼蟲(chóng)代表了用于訓(xùn)練現(xiàn)代神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)；而蜻蜓則象征從這些數(shù)據(jù)中誕生的AI。而深度學(xué)習(xí)——Hinton開(kāi)創(chuàng)的技術(shù)——促成了這種蛻變。

他輕聲說(shuō)道，“你明白了其中的道理。它開(kāi)始是一種狀態(tài)，最終變成了另一種不同的狀態(tài)。”

03 顯赫家族出了個(gè)“不聰明”的小輩

當(dāng)年，Google收購(gòu)Hinton創(chuàng)業(yè)公司，一部分原因是他的團(tuán)隊(duì)知道如何利用神經(jīng)網(wǎng)絡(luò)大幅提高圖像識(shí)別能力。而現(xiàn)在，屏幕上鋪滿(mǎn)了Hinton的家譜。

Hinton出生在一個(gè)特殊的英國(guó)科學(xué)世家：在政治上激進(jìn)，在科學(xué)上探索。

叔祖父Sebastian Hinton是攀爬架的發(fā)明者；他的堂姐Joan Hinton是參與曼哈頓計(jì)劃的物理學(xué)家；

Lucy Everest，首位當(dāng)選為英國(guó)皇家化學(xué)研究所成員的女性。

Charles Howard Hinton，一位數(shù)學(xué)家，提出了四維空間概念。

19 世紀(jì)中葉，Hinton曾曾祖父、英國(guó)數(shù)學(xué)家George Boole發(fā)明了二進(jìn)制推理系統(tǒng)，即現(xiàn)在的布爾代數(shù)，是所有計(jì)算的基礎(chǔ)。Boole的妻子Mary Everest是一位數(shù)學(xué)家和作家。

Yann LeCun的評(píng)價(jià)是，Geoff Hinton天生就是搞科學(xué)的料。

雖然學(xué)生時(shí)代的Hinton喜歡自然科學(xué)。但出于意識(shí)形態(tài)，他的昆蟲(chóng)學(xué)家父親Howard Everest Hinton禁止他學(xué)習(xí)生物學(xué)。他記得父親曾說(shuō)：“如果你比我努力兩倍，當(dāng)你年紀(jì)是我兩倍大時(shí)，或許才能達(dá)到我一半的成就?！?/p>

在劍橋大學(xué)，Hinton嘗試了多個(gè)領(lǐng)域。但令他沮喪的是，在任何一門(mén)課程中，他都不是班上最聰明的學(xué)生。

他曾一度輟學(xué)，跑去“讀一些令人emo的小說(shuō)”，并在倫敦打零工，然后又回到學(xué)校，嘗試學(xué)習(xí)建筑學(xué)，但僅堅(jiān)持了一天。

最后，在探索了物理、化學(xué)、生理學(xué)和哲學(xué)后，他選擇了實(shí)驗(yàn)心理學(xué)專(zhuān)業(yè)。

他“潛伏”在道德哲學(xué)家Bernard Williams的辦公室里，而后者對(duì)計(jì)算機(jī)與心智的興趣引發(fā)了Hinton的深思。

某天， Williams指出：我們的不同思想一定反映了大腦內(nèi)部不同的物理排列；而這與計(jì)算機(jī)內(nèi)部的情況截然不同——計(jì)算機(jī)的軟件與硬件是相互獨(dú)立的。

Hinton被這個(gè)觀點(diǎn)深深吸引。他回憶起高中時(shí)，一個(gè)朋友曾告訴他記憶可能以“全息”的方式儲(chǔ)存在大腦中——記憶是分散的，但通過(guò)任何一個(gè)部分都可以訪問(wèn)整體。

這正是他后續(xù)研究的“連接主義”概念。這種方法結(jié)合了神經(jīng)科學(xué)、數(shù)學(xué)、哲學(xué)和編程，探討神經(jīng)元如何協(xié)同工作以“思考”。連接主義的一個(gè)目標(biāo)是創(chuàng)造一個(gè)在計(jì)算機(jī)中模擬大腦的系統(tǒng)。

這個(gè)領(lǐng)域已經(jīng)有了一些進(jìn)展：1950年代，心理學(xué)家和連接主義先鋒Frank Rosenblatt建造了一臺(tái)Perceptron（感知機(jī)），使用簡(jiǎn)單的計(jì)算機(jī)硬件模擬了數(shù)百個(gè)神經(jīng)元的網(wǎng)絡(luò)。當(dāng)連接到光感器時(shí)，Perceptron可以通過(guò)追蹤不同光線模式激活的人工神經(jīng)元來(lái)識(shí)別字母和形狀。

而Hinton在劍橋的起步看似緩慢且略顯古怪，也有一部分原因是他在探索一個(gè)新興的領(lǐng)域。

“神經(jīng)網(wǎng)絡(luò)——當(dāng)時(shí)幾乎沒(méi)有頂尖大學(xué)研究這個(gè)領(lǐng)域” Hinton說(shuō)道 “你在麻省理工做不了；在伯克利做不了；在斯坦福也做不了?！币舱蛉绱耍琀inton作為一個(gè)新興技術(shù)的開(kāi)創(chuàng)者。多年來(lái)，許多最頂尖的頭腦都向他靠攏。

04 撬開(kāi)神經(jīng)網(wǎng)絡(luò)“黑盒”

而在1970年代，絕大多數(shù)人工智能研究者都是“符號(hào)主義者”。在他們看來(lái)，了解諸如番茄醬這樣的事物，可能需要涉及多個(gè)概念，如“食物”、“醬料”、“調(diào)味品”、“甜”、“鮮味”、“紅色”、“番茄”、“美國(guó)”、“薯?xiàng)l”、“蛋黃醬”和“芥末”；

這些概念結(jié)合起來(lái)可以構(gòu)建出一個(gè)腳手架，用來(lái)懸掛新概念如“番茄醬”。一個(gè)資金充足的大型人工智能項(xiàng)目Cyc，正是圍繞構(gòu)建一個(gè)龐大的知識(shí)庫(kù)展開(kāi)?？茖W(xué)家們可以使用一種特殊語(yǔ)言將概念、事實(shí)和規(guī)則（以及它們不可避免的例外）輸入其中。（鳥(niǎo)類(lèi)會(huì)飛，但企鵝不會(huì)，受傷的鳥(niǎo)也不會(huì)……）

但是，Hinton對(duì)符號(hào)人工智能表示懷疑。這種方法似乎過(guò)于僵化，過(guò)于依賴(lài)哲學(xué)家和語(yǔ)言學(xué)家的推理能力。

他知道，在自然界中，許多動(dòng)物即便沒(méi)有語(yǔ)言表達(dá)，也能表現(xiàn)出智能行為。而它們只是通過(guò)經(jīng)驗(yàn)學(xué)習(xí)來(lái)變得聰明。

對(duì)于 Hinton 來(lái)說(shuō)——學(xué)習(xí)，而不是知識(shí)，才是智能的核心。

人類(lèi)的高級(jí)思維通常似乎通過(guò)符號(hào)和語(yǔ)言進(jìn)行。但是，Hinton與他的合作者James L. McClelland以及David Rumelhart認(rèn)為，大部分的認(rèn)知活動(dòng)其實(shí)發(fā)生在概念層面之下。

他們指出：“當(dāng)你學(xué)到一個(gè)關(guān)于某個(gè)物體的新知識(shí)后，你對(duì)其他類(lèi)似物體的預(yù)期也會(huì)發(fā)生變化”。比如，當(dāng)你得知黑猩猩喜歡洋蔥時(shí)，你可能會(huì)猜測(cè)大猩猩也喜歡。

這表明知識(shí)可能是以“分布式”的方式在大腦中產(chǎn)生的——由一些可以在相關(guān)概念之間共享的小型構(gòu)建塊組成。

比如，大腦中不會(huì)有兩個(gè)分別代表“黑猩猩”和“大猩猩”的獨(dú)立神經(jīng)元網(wǎng)絡(luò)；相反，不同的特征，比如毛茸茸的、四足的、靈長(zhǎng)類(lèi)的、動(dòng)物性的、聰明的、野生的等，可能會(huì)以一種方式激活來(lái)代表“黑猩猩”，以稍微不同的方式激活來(lái)代表“大猩猩”。

在這些特征云中，可能會(huì)加上“喜歡洋蔥”這一屬性。然而，這種由特征構(gòu)成的思維方式可能會(huì)導(dǎo)致混淆和錯(cuò)誤：如果將特質(zhì)錯(cuò)誤地組合在一起，可能會(huì)產(chǎn)生一個(gè)既不是大猩猩也不是黑猩猩的幻想生物。但如果大腦擁有正確的學(xué)習(xí)算法，它或許能調(diào)整神經(jīng)元之間的權(quán)重，優(yōu)先生成合理的組合，而不是無(wú)意義的拼湊。

Hinton 繼續(xù)探索這些想法，先在加州大學(xué)圣地亞哥分校做博士后研究；然后在劍橋大學(xué)從事應(yīng)用心理學(xué)研究；最后在卡內(nèi)基梅隆大學(xué)。他于1982年成為該校的計(jì)算機(jī)科學(xué)教授。在卡內(nèi)基梅隆期間，他將大部分研究經(jīng)費(fèi)用于購(gòu)買(mǎi)一臺(tái)足夠強(qiáng)大的計(jì)算機(jī)，以運(yùn)行神經(jīng)網(wǎng)絡(luò)。期間，Hinton 和 Terrence Sejnowski 合作開(kāi)發(fā)了一個(gè)神經(jīng)網(wǎng)絡(luò)模型——玻爾茲曼機(jī)（Boltzmann Machine）。

1986年，Hinton、Rumelhart和Williams在《自然》雜志上發(fā)表了一篇三頁(yè)的論文，展示了一個(gè)系統(tǒng)如何在神經(jīng)網(wǎng)絡(luò)中工作。

他們指出，反向傳播（backprop）和玻爾茲曼機(jī)（Boltzmann Machine）一樣，并不是“大腦學(xué)習(xí)的一個(gè)合理模型”——與計(jì)算機(jī)不同，大腦無(wú)法“倒帶”來(lái)檢查其過(guò)去的表現(xiàn)。然而，反向傳播仍然能夠?qū)崿F(xiàn)類(lèi)似大腦的神經(jīng)專(zhuān)門(mén)化。

在真實(shí)的大腦中，神經(jīng)元有時(shí)會(huì)按照解決特定問(wèn)題的結(jié)構(gòu)排列。例如在視覺(jué)系統(tǒng)中，不同的神經(jīng)元“列”可以識(shí)別我們所看到的邊緣。

類(lèi)似的現(xiàn)象也在反向傳播網(wǎng)絡(luò)中出現(xiàn)。網(wǎng)絡(luò)的更高層會(huì)對(duì)較低層施加一種進(jìn)化壓力；因此，當(dāng)一個(gè)網(wǎng)絡(luò)被賦予識(shí)別手寫(xiě)體的任務(wù)時(shí)，某些層可能會(huì)專(zhuān)注于識(shí)別線條、曲線或邊緣。最終，整個(gè)系統(tǒng)可以形成“適當(dāng)?shù)膬?nèi)部表征”。這個(gè)網(wǎng)絡(luò)不僅“知曉”了信息，還能加以運(yùn)用。

在1950年代和60年代，感知機(jī)（Perceptron）和其他連接主義（connectionism）曾短暫興起，又逐漸衰落。反向傳播作為其中的一部分，也獲得了廣泛的關(guān)注。

但構(gòu)建反向傳播網(wǎng)絡(luò)的實(shí)際工作進(jìn)展緩慢，一部分原因是因?yàn)橛?jì)算機(jī)的速度太慢。

Hinton回憶道：“進(jìn)展速度基本取決于計(jì)算機(jī)一夜之間能學(xué)到多少東西。”而答案往往是“不多”。在概念上，神經(jīng)網(wǎng)絡(luò)的工作方式則顯得神秘。傳統(tǒng)編程方式無(wú)法直接為其編寫(xiě)代碼，你不能去手動(dòng)調(diào)整人工神經(jīng)元之間的權(quán)重。而且很難理解這些權(quán)重的含義，因?yàn)樗鼈儠?huì)通過(guò)訓(xùn)練自動(dòng)適應(yīng)和改變。

在學(xué)習(xí)過(guò)程中，錯(cuò)誤可能以多種方式發(fā)生。例如，“過(guò)度擬合”會(huì)讓網(wǎng)絡(luò)只記住了訓(xùn)練數(shù)據(jù)，而不是從中總結(jié)出通用的規(guī)律。

避免這些陷阱并非易事，因?yàn)樯窠?jīng)網(wǎng)絡(luò)是自主學(xué)習(xí)的。研究人員可以嘗試通過(guò)“集成”技術(shù)（將弱網(wǎng)絡(luò)組合成一個(gè)強(qiáng)大的網(wǎng)絡(luò)）或“提前停止”（讓網(wǎng)絡(luò)學(xué)習(xí)，但不過(guò)度學(xué)習(xí)）來(lái)應(yīng)對(duì)這些問(wèn)題。

他們還可以通過(guò)“預(yù)訓(xùn)練”系統(tǒng)，即先讓玻爾茲曼機(jī)學(xué)習(xí)一些東西，再疊加反向傳播網(wǎng)絡(luò)，從而使系統(tǒng)在已經(jīng)掌握了一些基礎(chǔ)知識(shí)后才開(kāi)始“監(jiān)督”訓(xùn)練。

然后，他們會(huì)放任網(wǎng)絡(luò)繼續(xù)學(xué)習(xí)，希望它能達(dá)到預(yù)期目標(biāo)。

新的神經(jīng)網(wǎng)絡(luò)架構(gòu)也應(yīng)運(yùn)而生——“循環(huán)”網(wǎng)絡(luò)和“卷積”網(wǎng)絡(luò)。但這就像研究人員發(fā)現(xiàn)了一項(xiàng)陌生的外星技術(shù)，卻不知如何使用。

Hinton說(shuō)：“我始終堅(jiān)信這不是胡說(shuō)八道?！边@并非出于信仰，而是顯而易見(jiàn)的：大腦通過(guò)神經(jīng)元學(xué)習(xí)，因此通過(guò)神經(jīng)網(wǎng)絡(luò)進(jìn)行復(fù)雜的學(xué)習(xí)必然是可能的。為了這一信念，他愿意加倍努力，并堅(jiān)持更久。

通過(guò)反向傳播訓(xùn)練網(wǎng)絡(luò)時(shí)，網(wǎng)絡(luò)需要被告知哪里出錯(cuò)了，以及錯(cuò)誤的程度，這要求有大量準(zhǔn)確標(biāo)注的數(shù)據(jù)，這樣網(wǎng)絡(luò)才能區(qū)分出手寫(xiě)的“7”和“1”，或者區(qū)分金毛獵犬和紅色雪達(dá)犬。

然而，找到足夠大且標(biāo)注良好的數(shù)據(jù)集并不容易，構(gòu)建新的數(shù)據(jù)集更是一項(xiàng)艱苦的工作。

LeCun及其合作者開(kāi)發(fā)了一個(gè)包含大量手寫(xiě)數(shù)字的數(shù)據(jù)庫(kù)，后來(lái)他們用它來(lái)訓(xùn)練一個(gè)網(wǎng)絡(luò)，可以讀取美國(guó)郵政服務(wù)提供的樣本郵政編碼。

李飛飛主導(dǎo)了一個(gè)龐大的項(xiàng)目——ImageNet，其創(chuàng)建過(guò)程涉及收集超過(guò)1400萬(wàn)張圖像，并手動(dòng)將它們分為2萬(wàn)個(gè)類(lèi)別。

隨著神經(jīng)網(wǎng)絡(luò)的不斷擴(kuò)展，Hinton發(fā)明了一種將知識(shí)從大型網(wǎng)絡(luò)傳遞給較小網(wǎng)絡(luò)的方法——蒸餾（distillation）——可以在手機(jī)等設(shè)備上運(yùn)行。

在蒸餾學(xué)習(xí)中，一個(gè)神經(jīng)網(wǎng)絡(luò)不僅為另一個(gè)神經(jīng)網(wǎng)絡(luò)提供正確的答案，還能提供一系列可能的答案及其概率，這是一種更為豐富的知識(shí)傳遞方式。

Hinton不喜歡反向傳播網(wǎng)絡(luò)。因?yàn)榕c玻爾茲曼機(jī)不同，“反向傳播完全是確定性的。不幸的是，它的確效果更好?！彪S著計(jì)算機(jī)性能的進(jìn)步，反向傳播的威力漸漸變得無(wú)可否認(rèn)。

Hinton做過(guò)一個(gè)計(jì)算。假設(shè)在1985年，他開(kāi)始不停歇地在一臺(tái)高速計(jì)算機(jī)上運(yùn)行一個(gè)程序。如今只需不到一秒鐘的時(shí)間就可以趕上。

進(jìn)入2000年代，隨著配備強(qiáng)大計(jì)算機(jī)的多層神經(jīng)網(wǎng)絡(luò)，開(kāi)始在大規(guī)模數(shù)據(jù)集上進(jìn)行訓(xùn)練，Hinton、Bengio 和 LeCun 開(kāi)始討論“深度學(xué)習(xí)”的潛力。

2012年，這項(xiàng)研究跨過(guò)了一個(gè)門(mén)檻。彼時(shí)，Hinton、Alex Krizhevsky 和 Ilya Sutskever 推出了AlexNet，這是一個(gè)八層神經(jīng)網(wǎng)絡(luò)，最終能夠以人類(lèi)水平的準(zhǔn)確率識(shí)別 ImageNet 數(shù)據(jù)集中的物體。

隨后，三人創(chuàng)辦了一家公司，并將其出售給了Google。

Hinton拿這筆錢(qián)買(mǎi)下了開(kāi)篇的那座小島——“這是我唯一真正的放縱”。

05 他堅(jiān)信神經(jīng)網(wǎng)絡(luò)確實(shí)擁有情感

2017年6月，Hinton、Bengio和LeCun獲取了圖靈獎(jiǎng)，相當(dāng)于計(jì)算機(jī)科學(xué)領(lǐng)域的諾貝爾獎(jiǎng)。

Hinton堅(jiān)信，神經(jīng)網(wǎng)絡(luò)確實(shí)擁有某種情感，即對(duì)行為傾向的一種描述方式。

他在1973年見(jiàn)過(guò)一個(gè)“emo的人工智能”。當(dāng)時(shí)一臺(tái)計(jì)算機(jī)連接著兩臺(tái)電視攝像頭和一個(gè)簡(jiǎn)單的機(jī)械手臂，系統(tǒng)的任務(wù)是將散落在桌子上的積木組裝成一輛玩具車(chē)。

“這在1973年是相當(dāng)困難的，”他說(shuō)?！耙曈X(jué)系統(tǒng)可以識(shí)別分開(kāi)的積木，但如果你把它們堆在一起，它就無(wú)法識(shí)別。所以它怎么做呢？它稍微后退了一點(diǎn)，然后砰地一下，把積木撒得滿(mǎn)桌子都是。它無(wú)法應(yīng)對(duì)當(dāng)前的狀況，于是通過(guò)暴力改變了局面。如果是人類(lèi)這么做，你會(huì)說(shuō)他們感到沮喪。那臺(tái)計(jì)算機(jī)無(wú)法正確地‘看到’積木，于是它‘打亂’了積木?！?Hinton認(rèn)為，情感的本質(zhì)就是對(duì)無(wú)法擁有之物的渴求。

他嘆了一口氣。“我們不能活在否認(rèn)之中，我們必須面對(duì)現(xiàn)實(shí)。我們需要思考，如何讓AI對(duì)人類(lèi)的威脅變得不那么可怕?！?/p>

AI會(huì)變得多么有用？多么危險(xiǎn)？沒(méi)有人知道。一部分原因是神經(jīng)網(wǎng)絡(luò)太神奇了。

在20世紀(jì)，許多研究人員想構(gòu)建模仿人腦的計(jì)算機(jī)。

但盡管像GPT這樣的神經(jīng)網(wǎng)絡(luò)有數(shù)十億個(gè)人工神經(jīng)元，在某種意義與人腦相似，但它們與生物大腦有著本質(zhì)上的不同。

如今的人工智能存在于云端，被安置在龐大數(shù)據(jù)中心。

在某些方面，人工智能顯得無(wú)知；而在另一些方面，它又如天才般洞悉。

它們或許已經(jīng)通過(guò)了圖靈測(cè)試——由計(jì)算機(jī)科學(xué)先驅(qū)Alan Turing提出的經(jīng)典標(biāo)準(zhǔn)：如果一臺(tái)計(jì)算機(jī)能夠在對(duì)話中令人信服地模仿人類(lèi)，它就可以被合理地認(rèn)為在“思考”。

然而，直覺(jué)告訴我們，駐留在瀏覽器標(biāo)簽頁(yè)中的東西，不可能以我們理解的方式真正“思考”。這些系統(tǒng)迫使我們反思：人類(lèi)的思維方式，真的是唯一值得認(rèn)可的思維方式嗎？

06 擔(dān)憂來(lái)源于凡人計(jì)算？

在谷歌工作的最后幾年，Hinton集中精力開(kāi)發(fā)更接近人類(lèi)大腦思維方式的人工智能，使用模擬大腦結(jié)構(gòu)的硬件。

在現(xiàn)今的人工智能系統(tǒng)中，人工神經(jīng)元之間的連接權(quán)重是以數(shù)字形式存儲(chǔ)的，仿佛大腦在為自己做記錄。然而，在人類(lèi)真實(shí)的類(lèi)比大腦中，權(quán)重直接體現(xiàn)在神經(jīng)元之間的物理連接中。Hinton 致力于通過(guò)專(zhuān)用計(jì)算芯片來(lái)創(chuàng)建這一系統(tǒng)的人工版本。

Hinton 將這種方法稱(chēng)為“凡人計(jì)算”。

如果能實(shí)現(xiàn)，那將是極其驚人的。這些芯片能夠通過(guò)調(diào)整它們的“電導(dǎo)”來(lái)進(jìn)行學(xué)習(xí)。由于權(quán)重會(huì)被整合到硬件中，無(wú)法從一臺(tái)機(jī)器復(fù)制到另一臺(tái)機(jī)器，每個(gè)人工智能系統(tǒng)都必須獨(dú)立學(xué)習(xí)。但這會(huì)使功耗從兆瓦級(jí)降低到三十瓦。

由此帶來(lái)的一個(gè)好處是鼓勵(lì)個(gè)性化：因?yàn)槿祟?lèi)大腦只需通過(guò)消耗燕麥粥等簡(jiǎn)單食物就能運(yùn)轉(zhuǎn)，世界可以支持?jǐn)?shù)十億個(gè)各不相同的大腦。每個(gè)大腦都能夠持續(xù)學(xué)習(xí)，而不是像當(dāng)前的人工智能那樣，在一次訓(xùn)練后被推向世界。

Hinton說(shuō)，在數(shù)字智能中，如果某臺(tái)計(jì)算機(jī)死亡，相同的連接權(quán)重可以被轉(zhuǎn)移到另一臺(tái)計(jì)算機(jī)上。甚至如果所有數(shù)字計(jì)算機(jī)都?xì)牧?，只要你保存了這些連接權(quán)重，你就可以制造另一臺(tái)數(shù)字計(jì)算機(jī)并在其上運(yùn)行相同的權(quán)重。成千上萬(wàn)個(gè)神經(jīng)網(wǎng)絡(luò)可以同時(shí)學(xué)習(xí)成千上萬(wàn)件不同的事物，然后共享它們所學(xué)的知識(shí)。

這種永生和可復(fù)制性的結(jié)合讓Hinton覺(jué)得“我們應(yīng)當(dāng)警惕數(shù)字智能取代生物智能的可能性”。

當(dāng)前的人工智能技術(shù)在物理邊界處常常顯得笨拙無(wú)力。

比如LeCun 表示，任何一個(gè)青少年都能在大約20個(gè)小時(shí)的練習(xí)中學(xué)會(huì)開(kāi)車(chē)，幾乎不需要監(jiān)督；任何一只貓都能跳過(guò)一連串的家具，爬到書(shū)架的頂端。今天的人工智能系統(tǒng)在這些方面無(wú)一接近完成，除了自動(dòng)駕駛汽車(chē)——但它們過(guò)度設(shè)計(jì)，要求“將整個(gè)城市繪圖，數(shù)百名工程師，成千上萬(wàn)小時(shí)的訓(xùn)練”。因此，解決物理直覺(jué)的這些棘手問(wèn)題將成為未來(lái)十年的主要挑戰(zhàn)。

Hinton 認(rèn)為，對(duì)人工智能潛力的懷疑往往源于人類(lèi)無(wú)端的優(yōu)越感。研究者們抱怨人工智能聊天機(jī)器人“幻覺(jué)”，即在面對(duì)無(wú)法解答的問(wèn)題時(shí)編造出貌似合理的答案。對(duì)此，Hinton 不認(rèn)同“幻覺(jué)”一詞。

他說(shuō)：我們應(yīng)該說(shuō)“虛構(gòu)”。“幻覺(jué)”是指你以為有感官輸入——聽(tīng)覺(jué)幻覺(jué)、視覺(jué)幻覺(jué)、嗅覺(jué)幻覺(jué)。而只是編造事情，那是“虛構(gòu)”。有趣的是，在人類(lèi)看來(lái)，編造和說(shuō)實(shí)話之間沒(méi)有界限。說(shuō)實(shí)話只是正確地編造。從這個(gè)角度來(lái)看，ChatGPT的編造能力是一個(gè)缺陷，但也是其類(lèi)人智能的標(biāo)志。

Hinton經(jīng)常被問(wèn)是否后悔自己所做的工作。他回答并不后悔。

畢竟當(dāng)他開(kāi)始研究時(shí)，沒(méi)人覺(jué)得這項(xiàng)技術(shù)會(huì)成功；即使它開(kāi)始成功，也沒(méi)有人想到它會(huì)那么快。正是因?yàn)樗J(rèn)為人工智能是真正的智能，他期望其將在許多領(lǐng)域做出貢獻(xiàn)。

雖然，他也同樣擔(dān)憂人工智能的未來(lái)。