當下，深度神經網絡應用越來越廣泛，幫助設計微芯片，預測蛋白質折疊，并在復雜游戲中勝過人類，性能越來越強大。但也有大量證據證明，它們通常是不穩定的。一個非常明顯的表現是，深度神經網絡接收到的數據的微小變化，就可能會導致結果的巨大變化。

例如《One pixel attack for fooling deep neural networks》研究中所揭示的，改變圖像上的一個像素，AI就把馬識別成青蛙。哈佛醫學院計算機科學家和生物醫學信息學家Samuel Finlayson也曾發現，醫學影像可以以人眼無法察覺的方式進行修改，然后導致人工智能100%地誤診癌癥。

在以前的研究中，有數學證據表明，存在用于解決各種問題的穩定、準確的神經網絡。然而最近劍橋大學和奧斯陸大學的研究人員發現，這些人工智能系統可能僅在有限的情況下是穩定和準確的。理論上存在的兼具穩定性和準確性的神經網絡，可能無法準確描述現實中可能發生的事情。

“從理論上講，神經網絡的限制很少?！庇鴦虼髮W的數學家Matthew Colbrook 說。然而當試圖計算這些神經網絡時，問題就出現了。

“數字計算機只能計算某些特定的神經網絡，”挪威奧斯陸大學的數學家Vegard Antun認為，“有時計算一個理想的神經網絡是不可能的?！?/p>

這樣的表述可能聽起來令人困惑，《IEEE Spectrum》在談論這項研究時以蛋糕做比喻，“好像有人說可能存在一種蛋糕，但不存在制作它的配方?！?/p>

“我們會說問題不在于配方。相反，問題在于制作蛋糕所必須的工具。”劍橋大學的數學家Anders Hansen說，“我們說可能有蛋糕的配方，但無論你有什么攪拌機，你都可能無法制作出想要的蛋糕。此外，當你嘗試在廚房用攪拌機制作蛋糕時，你會得到一個完全不同的蛋糕。”

依此，繼續進行類比，“甚至在你嘗試之前無法判斷蛋糕是否不正確，然后為時已晚?！盋olbrook 說，“然而，在某些情況下，你的攪拌機足以制作你想要的蛋糕，或者至少可以很好地近似于該蛋糕?！?/p>

這些關于神經網絡局限性的新發現與數學家Kurt G?del和計算機科學家Alan Turing關于計算局限性的先前研究相呼應。粗略地說，他們揭示了“有些數學陳述永遠無法被證明或反駁，還有一些基本的計算問題是計算機無法解決的?！盇ntun表示。

此項研究以《計算穩定準確的神經網絡的難點：關于深度學習的障礙和Smale的第18個問題》（The difficulty of computing stable and accurate neural networks: On the barriers of deep learning and Smale’s 18th problem）為題，于3月16日發布在《美國國家科學院院刊》上。

在人工神經網絡中，被稱為“神經元”的組件被輸入數據并協作解決問題，例如識別圖像。神經網絡反復調整各個神經元之間的聯系，并查看由此產生的行為模式是否能更好地找到解決方案。隨著時間推移，網絡會發現哪些模式最適合計算結果。然后它采用這些作為默認值，模仿人腦中的學習過程。如果一個神經網絡擁有多層神經元，它就被稱為“深度”。

在以前的研究中，有數學證據表明，存在用于解決各種問題的穩定、準確的神經網絡。然而，在這項新的研究中，研究人員現在發現，盡管理論上可能存在穩定、準確的神經網絡來解決許多問題，但矛盾的是，實際上可能沒有算法能夠成功地計算它們。

這項新研究發現，無論算法可以訪問多少數據或該數據的準確性，算法都可能無法針對給定問題計算出穩定、準確的神經網絡。Hansen表示，這類似于圖靈的論點，即無論計算能力和運行時間如何，計算機都可能無法解決一些問題。

“計算機可以實現的功能存在固有的限制，這些限制也會出現在AI中，”Colbrook 表示，“這意味著理論上存在的具有良好特性的神經網絡，可能無法準確描述現實中可能發生的事情。”

這些新發現并不表明所有神經網絡都存在完全缺陷，但它們可能僅在有限的情況下是穩定和準確的。“在某些情況下，可以計算出穩定且準確的神經網絡，”Antun說道，“關鍵問題是‘在某些情況下’的部分，最大的問題是找到這些案例。目前，人們對如何做到這一點知之甚少?！?/p>

研究人員發現，神經網絡的穩定性和準確性之間經常需要權衡。“問題是我們同時想要穩定性和準確性，”Hansen說道，“在實踐中，對于安全相關的關鍵應用，人們可能不得不犧牲一些準確性來確保穩定性?！?/p>

作為新研究的一部分，研究人員開發了他們“快速迭代重啟網絡”（FIRENET），以期在涉及分析醫學圖像等任務時實現，神經網絡可以提供穩定性和準確性的結果。

研究人員認為，這些關于神經網絡局限性的新發現并不是為了抑制人工智能研究，“從長遠來看，弄清楚什么可以做和什么不可以做什么對人工智能研究來說是健康的。請注意，圖靈和G?del的負面結果引發了數學基礎和計算機科學方面的巨大變化，這分別導致了現代計算機科學和現代邏輯的大部分發展?！盋olbrook說，

具體而言在這項研究中，研究人員認為，這些新發現意味著存在一種分類理論，其可以描述哪些具有給定精度的穩定神經網絡可以通過算法進行計算。用之前談到的蛋糕類比，“這將是一個分類理論，描述了哪些蛋糕可以用物理上可能設計的攪拌機烘烤。如果無法烘烤蛋糕，我們也想知道與想要的蛋糕類型有多接近。”Antun 說道。