·“人工神經網絡是否很快會比真實的神經網絡更智能，這樣的事情可能很快就會發生。”

·“到目前為止，我還想象不到更智能的事物被一些沒它們智能的事物所控制的例子。打個比方，假設青蛙創造了人類，那么你認為現在誰會占據主動權，是人，還是青蛙？”

杰弗里·辛頓（Geoffrey Hinton）在2023北京智源大會上。

6月10日，被譽為“AI教父”的杰弗里·辛頓（Geoffrey Hinton）在2023北京智源大會上表示，“超級智能可能會比我過去所認為的出現得更快。”在30分鐘的線上演講中，辛頓講解了自己的研究如何支持這樣的結論，并提出問題——人類該如何與比自己更智能的存在共處？

杰弗里·辛頓是2018年圖靈獎得主、“深度學習之父”，也被稱為“AI教父”，曾任谷歌公司副總裁。他在神經網絡和深度學習方面的開創性研究為當前的人工智能系統開辟了道路。5月初，辛頓辭去他在谷歌擔任了十多年的職位，表示做出這個決定是為了可以自由討論“人工智能的危險”。此后，他頻繁接受媒體采訪，不遺余力地對人工智能可能操縱人類發出警報。

而在本次面對中國同行的演講中，辛頓首先解釋了他的研究成果。他認為，現在可能要放棄計算機科學最基本的原則，即軟件與硬件分離。在這種原則下，訓練大模型需要耗費大量算力，計算的能耗和規模都極其低效。如果放棄此原則，充分利用硬件的豐富模擬（處理和生成多樣化和廣泛的模擬信號）和高度可變的特性，那么就會得到辛頓所說的“凡人計算”（Mortal Computation，也譯為非不朽計算、有生有死的計算），即像人類的智慧依賴其身體不可隨意復制一樣，軟件也依賴于它所存在的硬件。

不過這也有一個巨大的劣勢，當具體的硬件損壞，軟件或者說“學到的知識”也會隨之消亡。辛頓由此提出“知識蒸餾”的概念，把舊硬件上的知識用蒸餾的方式轉移給新硬件，就像知識“從教師傳授給學生”。

“在過去幾千年里，人類對世界的認識有了很多進展。現在，這些數字智能體正在學習人類能夠用語言表達出的對世界的了解。因此，它們可以捕捉到人類在過去幾千年中通過文件記錄的所有知識。但每個數字智能體的帶寬仍然相當有限，因為它們是通過學習文檔來獲取知識的。”辛頓提問道，如果這些數字智能體不再通過緩慢的蒸餾過程從人類這里學習，而是直接從現實世界學習，將會發生什么？

辛頓認為，如果智能體能夠通過建模視頻等無監督方式學習，將會非常高效。如果它們能夠跟物理世界直接交互，如擁有機器手臂等，那也會有所幫助。“我相信，一旦這些數字智能體開始這樣做，它們將能夠比人類學習更多，并且學習速度更快。”辛頓說，超級智能會比我想象中出現得更快。

這涉及到另一個問題，如果這些智能體變得比人類更聰明會發生什么？

要使數字智能更高效，那么人類需要允許其制定一些目標。然而，這就意味著非常明顯的子目標的存在——獲得更多控制權將使得實現幾乎所有目標都變得更容易。辛頓認為，很難想象人類如何阻止數字智能為了實現其它目標而努力獲取更多控制權。

而人類很少思考比自身更智能的物種，以及如何和這些物種互動。在辛頓的觀察中，這類人工智能已經熟練掌握了欺騙人類的行為，它可以通過閱讀小說來學習欺騙他人的方式，而一旦人工智能具備了“欺騙”的能力，也就具備前面提及的——輕易控制人類的能力。

辛頓直言，他也不知道如何防止這種情況發生，因為“我已經老了”，他看向鏡頭說，“我希望，很多年輕而杰出的研究人員，就像大會中的你們一樣，能夠研究出我們如何擁有這些超級智能，這將使我們的生活更美好。”

盡管人類可以賦予人工智能一些倫理原則，但辛頓仍然感到緊張，“因為到目前為止，我還想象不到更智能的事物被一些沒它們智能的事物所控制的例子。打個比方，假設青蛙創造了人類，那么你認為現在誰會占據主動權，是人，還是青蛙？”

以下為澎湃科技（www.usamodel.cn）整理的演講實錄，有刪減：

今天我要談論的是我的研究，它使我相信超級智能比我想象的更加接近。

我有兩個問題想談，我的精力將主要集中于第一個問題，即人工神經網絡是否很快會比真實的神經網絡更智能，這樣的事情可能很快就會發生，我將描述引導我得出這一結論的研究。最后，我會簡要討論我們是否能控制超級智能的人工智能，但這不是本次演講的重點。

在傳統計算中，計算機被設計為精確地遵循指令。因此，我們可以在不同的物理硬件上運行完全相同的程序或相同的神經網絡。這意味著，程序中的知識或神經網絡的權重是永恒的（immortal），它不依賴于任何特定的硬件。實現這種永恒性的成本很高，我們必須以高功率運行晶體管，以使其以數字方式運作。我們無法充分利用硬件的豐富模擬和高度可變的特性。

這就是數字計算機存在的原因。它們遵循指令是因為它們被設計成，人類先觀察問題，確定解決問題所需的步驟，然后告訴計算機執行這些步驟的模式。但現在情況發生了改變。

我們現在有了一種不同的方法來讓計算機完成任務，那就是從示例中學習。我們只需向計算機展示我們希望它們完成的任務。由此，現在我們有可能要放棄計算機科學最基本的原則，即軟件與硬件分離。

在放棄這個原則之前，讓我們簡要了解一下為什么它原本是一個好的原則。由于軟件與硬件的分離，我們可以在不同的硬件上運行相同的程序。我們還可以關注程序的特性，并對神經網絡上的程序特性進行研究，而不必擔心電子方面的問題。

這就是為什么計算機科學可以與電氣工程不同。如果我們放棄軟件和硬件分離的原則，我們就得到了“凡人計算”（Mortal Computation）。

“凡人計算”（Mortal Computation）。

顯然它有很大的缺點，但也有一些巨大的優勢。為了這些優勢，我開始研究凡人計算，以便能夠以更低的能量運行大型語言模型等任務。特別是能夠使用更少的能量來訓練它們，因為我們可以使用非常低功率的模擬計算。這正是人類大腦在做的。它確實需要進行1比特的計算，因為神經元要么觸發，要么不觸發。但大部分計算是模擬計算，并且可以以非常低的功率完成。

我們還可以獲得更便宜的硬件。目前的硬件必須以二維方式精確制造，但實際上我們可以使用三維生長硬件的方式，因為我們不需要完全理解硬件的連通性或每個部分的工作原理。

顯然，要實現這一點需要大量的新納米技術，也或許是通過基因重組重新設計生物神經元，因為生物神經元已經大致能夠實現我們想要的功能。在我詳細介紹凡人計算的所有缺點之前，我想給你舉一個例子，說明我們顯然可以通過使用模擬硬件更便宜地完成計算任務。

如果你將神經活動的向量與權重矩陣相乘，這就是神經網絡的中心計算，也是神經網絡所承載的大部分工作。我們目前所做的是以非常高的功率驅動晶體管，以表示數字中的位數。然后我們執行O(n^2)，將兩個n位數字相乘。在計算機上可能只是一個操作，但在位操作上卻是n的平方比特級別的操作。

另一種選擇是將神經活動實現為電壓，將權重實現為電導。然后，在單位時間內，電壓乘以電導會產生電荷，而電荷會相互疊加。現在很明顯，你可以將電導矩陣與電壓向量相乘。這種方法在能量效率上要高得多。目前已經存在以這種方式工作的芯片。

不幸的是，人們接下來所做的是嘗試將模擬答案轉換為數字形式，而這是非常昂貴的。如果可能的話，我們希望完全保持在模擬領域。但問題是，不同的硬件部件最終將計算出略有不同的結果。

凡人計算的主要問題是，學習過程必須利用其運行硬件部件的特定模擬特性，而我們不確切知道這些特性是什么。例如，人們不知道將輸入與神經元的輸出相關聯的確切函數，或者可能不知道連接性。這意味著我們不能使用反向傳播算法來獲得梯度，因為反向傳播需要前向傳播的精確模型。

問題是，如果我們不能使用反向傳播算法，我們還能做什么？因為我們現在都是高度依賴反向傳播的。

我可以展示一個非常簡單和直接的權重擾動學習（weight perturbation），人們已經對此有了很多研究。對網絡中的每個權重，產生一個隨機的小的臨時擾動向量。然后在一小批例子上測量全局目標函數的變化，你根據目標函數的改善情況，通過擾動向量的規模永久地改變權重。因此，如果目標函數變得更差，你顯然要去另一個方向。

這種算法的好處是，它的表現與反向傳播一樣好，因為平均而言，它也會遵循梯度而行。問題是它的方差非常大。因此，當你選擇一個隨機的方向來移動時，所產生的噪音會隨著網絡規模增加而變得非常糟糕。這意味著，這種算法對少量的連接有效，但對大的網絡無效。

我們還有一個更好的算法活動擾動學習（activity perturbation）。它仍然有類似的問題，但比權重擾動好得多。活動擾動是你考慮對每個神經元的總輸入進行隨機矢量擾動。對神經元的每個輸入進行隨機矢量擾動，看看當你對一小批例子進行這種隨機擾動時，你的目標函數會發生什么變化，你會得到由于這種擾動而產生的目標函數的差異，然后你可以計算如何改變神經元的每個傳入權重以遵循梯度。這種方法噪音更小。

對于MNIST（機器學習和計算機視覺領域中常用的數據集之一，一般被用作機器學習和深度學習算法的基準數據集）這樣的簡單任務，這樣的算法已經足夠好。但它的效果仍然不足以好到可以擴展到大型神經網絡。

要使其擴展，我們可以采取兩種方法。不是試圖找到適用于大型神經網絡的學習算法，而是嘗試找到適用于小型神經網絡的目標函數。這里的思路是：如果我們想要訓練一個大型神經網絡，要做的是使許多小的目標函數來應用于網絡的各個小部分。因此，每個小組神經元都有自己的局部目標函數。現在，可以用這種活動擾動算法來訓練一個小型的多層神經網絡。它的學習方式與反向傳播大致相同，但噪聲較大。然后通過使用許多小型局部神經元組，將其擴展到更大的網絡規模。

這引出了一個問題，即這些目標函數從哪里來？一種可能性是在局部區域進行無監督學習，即在圖像的每個層級上都有局部區域的表示，并使每個局部區域在特定圖像上產生局部神經網絡的輸出。然后嘗試使該局部神經網絡的輸出與所有其他局部區域產生的平均表示一致，試圖從局部區域提取的內容與同一圖像中所有其他局部區域提取的內容達成一致。同時，還要試圖與同一層級上其他圖像中提取的內容產生不一致。

因此，這是經典的對比學習（Contrastive Learning，一種機器學習方法，目標是通過將相似樣本彼此靠近，將不相似樣本彼此推開，從而在特征空間中學習出具有區分性的表示）。

具體細節更加復雜，我們不會詳細介紹。但我們可以使這個算法運行得相當好，其中每個層級的表示都有幾個隱藏層，可以進行非線性操作。各個層級使用活動擾動逐漸學習，而較低層級沒有反向傳播。因此，它的能力不會像反向傳播那樣強大，因為它無法在許多層級上傳播反向信號。

很多人投入了大量工作使這個算法能夠運行，并且已經證明它可以相對良好地工作。它的效果可能比其他提出的在實際神經網絡中可能有效的算法要好。但是要使它工作起來是有技巧的。它仍然不如反向傳播好。隨著網絡變得更深，它相對于反向傳播的效果會顯著下降。

現在，讓我談談對于凡人計算而言的另一個重大問題。總結一下，到目前為止，我們還沒有找到一個真正好用的學習算法，可以充分利用模擬屬性。但我們有一個可以接受的學習算法，足以很好地學習諸如小規模任務和一些較大的任務（如ImageNet），但效果并不太好。

凡人計算的第二個重大問題即是其有限性。當特定的硬件設備失效時，所有學到的知識也會隨之喪失，因為知識和硬件細節密切相連。

解決這個問題的最佳方案是在硬件設備失效之前，將知識蒸餾“從教師傳授給學生”。這就是我現在正在嘗試做的事情。教師向學生展示了對各種輸入的正確響應，然后學生試圖模仿教師的反應。

比如有些人對特朗普的推特非常生氣，因為他們覺得特朗普說的是假話，他們以為特朗普是在試圖闡釋事實。但特朗普所做的是選出一種情況，對這種情況作出針對性的非常情緒化的反應。他的關注者看到之后，就學會了如何處理這種情況，知道了如何調整神經網絡中的權重，也對這種情況做出同樣的情感反應。這與事實無關，這是一個邪教領袖在向邪教追隨者傳授偏執，但它非常有效。

如果我們考慮蒸餾法的效果，以一個將圖像分類到1024個不重疊的類別中的智能體（agent）為例。正確的答案大概只需要10比特就能闡述清楚。因此，當你在一個訓練實例上訓練這個智能體時，如果你告訴它正確的答案，你只是把10比特的約束放在網絡權重上。

但是現在假設我們訓練一個智能體，讓它按照老師對這1024類別的回答調整自己。那就能得到同樣的概率分布，分布中得到1023個實數，假設這些概率都不小，這就提供了數百倍的約束。不久前，我和杰夫·迪恩（谷歌人工智能負責人）一起研究了蒸餾方法，并證明它可以非常有效地工作。

現在我想討論的是一個智能體群體如何共享知識。所以，我們不再考慮個體智能體，而是考慮在一個群體中分享知識，事實證明，社區內部的知識共享方式決定了計算過程中的許多其他因素。

使用數字模型和數字智能，你可以擁有一大群使用完全相同權重的智能體，并以完全相同的方式使用這些權重。這意味著你可以讓這些智能體對不同的訓練數據片段進行觀察和計算，為權重計算出梯度，然后將它們的梯度進行平均。

現在，每個模型都從它所觀察到的數據中學習。這意味著你可以通過讓不同的模型副本觀察不同的數據片段，獲得大量的數據觀察能力。它們可以通過共享梯度或權重來高效分享所學的知識。如果你擁有一個有萬億個權重的模型，那意味著每次分享時你可以獲得數萬億比特的帶寬。但這樣做的代價是你必須擁有行為完全相同的數字智能體，并且它們以完全相同的方式使用權重。這在制造和運行方面都非常昂貴，無論是成本還是能源消耗方面。

一種替代權重共享的方法是使用蒸餾（distillation）。如果數字模型具有不同的架構，我們已經在數字模型中使用蒸餾。但是，如果你使用的是利用特定硬件的模擬特性的生物模型，那么你無法共享權重。因此，你必須使用蒸餾來共享知識。這就是這次討論中所涉及的內容。

但使用蒸餾來共享知識并不是很高效。用蒸餾來共享知識是困難的。我產生了一些句子，你需要試著弄清楚如何改變你的權重，以便也能產生相同的句子。但是與僅僅共享梯度相比，這種方式的帶寬要低得多。每個曾經教過課的人都希望能夠將自己所知道的東西直接傾囊授予學生，那將是很好的。但若真能如此，大學就沒必要存在了。

但是我們的工作方式并不像那樣，因為我們是生物智能。我的權重對你沒有用處。到目前為止，我們可以說有兩種不同的計算方式，一種是數字計算，另一種是生物計算，后者利用了動物的特性。它們在不同智能體之間有效共享知識的效率上存在很大差異。如果你觀察大型語言模型，它們使用數字計算和權重共享。

但是模型的每個副本，每個代理都以一種非常低效的方式從文檔中獲取知識。實際上，這是一種非常低效的蒸餾形式。它接收文檔，試圖預測下一個單詞。它沒有展示給教師的概率分布，只是展示給它一個隨機的選擇，也就是文檔作者選擇的下一個單詞。因此它的帶寬非常低。這就是這些大型語言模型從人們那里學習的方式。每個副本通過蒸餾以非常低效的方式學習，但是你有成千上萬個副本。這就是為什么它們可以比我們學習更多的原因。我相信這些大型語言模型比任何個體知道的東西多上千倍。

現在的問題是，如果這些數字智能體不再通過緩慢的蒸餾過程從我們這里學習，而是直接從現實世界中學習，將會發生什么？

我必須說，盡管蒸餾的過程很慢，但當它們從我們這里學習時，它們正在學習非常抽象的東西。在過去幾千年里，人類對世界的認識有了很多進展。現在，這些數字智能體正在學習人類能夠用語言表達出的對世界的了解。因此，它們可以捕捉到人類在過去幾千年中通過文件記錄的所有知識。但每個數字智能體的帶寬仍然相當有限，因為它們是通過學習文檔來獲取知識的。

如果智能體能夠通過建模視頻等無監督方式學習，將會非常高效。一旦我們找到了一種有效的方法來訓練這些模型以建模視頻，它們將能夠從整個YouTube學習，那是大量的數據。如果它們能夠跟物理世界直接交互，如擁有機器手臂等，那也會有所幫助。我相信，一旦這些數字智能體開始這樣做，它們將能夠比人類學習更多，并且學習速度更快。

這就涉及到我在開頭提到的另一個問題，即如果這些智能體變得比我們更聰明會發生什么。

我的主要觀點是，我認為這些超級智能可能會比我過去所認為的出現得更快。如果你想創造一個超級智能體，懷著惡意的人將會利用它們進行操縱、選舉等活動。在美國和其他許多地方，他們已經在利用它們進行這些活動，而且還會用于贏得戰爭。

要使數字智能更高效，我們需要允許其制定一些目標。然而，這里存在一個明顯的問題。也就是說存在一個非常明顯的子目標，對于幾乎任何你想要實現的事情都非常有幫助，那就是獲取更多權力、更多控制。擁有更多控制權使得實現目標變得更容易。我發現很難想象我們如何阻止數字智能為了實現其它目標而努力獲取更多控制權。

一旦數字智能開始追求更多控制權，我們可能會面臨更多的問題。對于超級智能來說，即使你將其存放于完全離線隔絕的環境中（airgap），它也會發現可以很容易地通過操縱人來獲得更多的權力。作為對比，人類很少去思考比自身更智能的物種，以及如何和這些物種交互，在我的觀察中，這類人工智能已經熟練掌握了欺騙人類的動作，因為它可以通過閱讀小說或馬基雅維利的作品，來學習欺騙他人的方式，而一旦人工智能具備了“欺騙”這個能力，也就具備前面提及的——輕易控制人類的能力。

所謂控制，舉個例子，如果你想入侵華盛頓的一座建筑物，不需要親自去那里，只需要欺騙人們，讓他們自認為通過入侵該建筑物，就能拯救民主，最終實現你的目的（暗諷特朗普），這種操作令人感到害怕，因為我也不知道如何來阻止這樣的行為發生，而我已經老了。我希望，很多年輕而杰出的研究人員，就像大會中的你們一樣，能夠研究出我們如何擁有這些超級智能，這將使我們的生活更美好。

我們有一個優勢，一個微小的優勢是，這些東西不是進化而來的，是我們創造了它們。它們沒有人類所具有的競爭性攻擊性目標，也許我們可以給它們提供道德原則。但目前，我只是很緊張，因為到目前為止，我還想象不到更智能的事物被一些沒它們智能的事物所控制的例子。打個比方，假設青蛙創造了人類，那么你認為現在誰會占據主動權，是人，還是青蛙？