- +1
Nature Photonics:神經形態光子學
撰稿 | Blair(西湖大學,博士生)
由于光子集成平臺上光電組件的集成度不斷提高,近年來光子計算的研究蓬勃發展。光子集成電路不僅能極大地加快人工神經網絡的處理速度,同時也為新型信息處理機器提供了新的架構。
在光子集成電路硬件上運行的算法不僅有潛力滿足醫療診斷、通信以及高性能和科學計算等領域對機器學習和人工智能不斷增長的需求,同時能夠處理神經形態電子學(類腦電子學)的發展中遇到的以處理器延遲問題為代表的一系列的挑戰。

基于光子學實現神經形態計算(類腦計算)在將單個計算操作的時間壓縮到亞納秒級的同時,也為未來人工智能計算提供了全新的機遇與可能。
近期,來自加、美、德、英的頂尖科學家回顧了神經形態光子計算系統的最新進展,討論了其當前和未來發展面臨的挑戰,并概述了應對這些挑戰所需的科學和技術方法。該綜述以 Photonics for artificial intelligence and neuromorphic computing 為題發表在 Nature Photonics。

圖1. 神經形態光子學概述. 圖源:Nature Photonics 15, 102 (2021). (Box. 1)
傳統上計算機是基于馮·諾依曼架構(即具有中央處理器和獨立的內存)進行組織的,這種結構適合于運行序列的、數字的、基于過程的計算任務。而對于分布式、大規模、并行和自適應的計算任務,尤其是用于人工智能神經網絡的計算模型,這種架構的效率很低。
人工智能算法要以高準確率、低延遲高效地處理人類任務,這對傳統計算機提出了很大的挑戰。
基于神經網絡、以分布式方式處理信息并根據輸入的數據自我訓練(而不是由程序員明確設計)的機器學習算法已經在棋類比賽、電子競技、語音圖像識別等諸多領域取得了一系列重大成就,并已對我們生活的許多方面產生了影響,其應用包括從語言翻譯到癌癥診斷、從智能制造到無人駕駛、從虛擬助理到機器人等方方面面。
面向未來,傳統計算架構提升空間有限,已經力不從心,在這樣的背景下,神經形態計算作為下一代計算架構應運而生。
神經形態計算(類腦計算)系統是借鑒人腦信息處理方式,打破“馮·諾依曼”架構束縛,針對實時處理非結構化信息而設計的具有自主學習能力的超低功耗新型計算系統。
神經形態計算(類腦計算)工程是根據機器學習和人工智能算法的特性、模擬人腦對信息的處理方式來定制芯片結構的系統工程,其將硬件與算法進行匹配可以實現更快、更節能的計算。同時,神經形態硬件還可以應用于機器學習之外的問題,例如機器人控制、數學編程和神經科學假設測試。
與傳統馮·諾依曼計算架構相比,神經形態計算系統(類腦計算)在很大程度上依賴計算單元(即神經元)之間的大規模并行互連。因此,如果通過電子學來實現神經形態計算,就必須使用某種形式的共享數字通信總線,該總線通過時分多路復用來實現互連,從而不得不犧牲了帶寬。因為光子具有玻色子的特性,多個光路可以并行疊加而并不會相互干擾串行,所以光學互連可以依然保持極大的帶寬,因此有望極大地加速機器學習和神經形態計算。

圖2. 光學神經突觸(a)和光學神經元(b)的實現. 圖源:Nature Photonics 15, 102 (2021). (Fig. 1, 2)
盡管光已經被普遍作為電信和數據中心的通信介質(如光纖),但還沒有廣泛應用到信息處理和計算中。這是因為光電組件在通信方面特性與數字電路的要求不符。
但是,像神經網絡這樣的非數字計算模型可能在光子學中實現更有優勢。因為神經形態光子處理器的目標不是要取代傳統的計算機,而是要實現傳統計算技術目前無法實現的低延遲,高帶寬和低能耗的計算任務。
超快速神經網絡的典型應用包括:
基本物理突破:量子比特讀出分類,高能粒子碰撞分類,聚變反應堆等離子體控制。
非線性規劃:求解非線性優化問題(機器人,自動駕駛汽車,可預測的控制)和偏微分方程。
機器學習加速:矢量矩陣乘法,深度學習推理,超快機器學習。
智能信號處理:寬帶射頻信號處理,光纖通信。
得益于光子強大的互連性和線性操作,光子電路非常適合神經網絡的高性能實現。成對的人工神經元之間的連接可以由標量突觸權重(一個主存儲元件)來實現,因此互連的布局可以表示為矩陣-向量運算,其中每個神經元的輸入是加權后的連接輸出的點積神經元。
光信號可以通過可調諧波導元件傳輸而倍增,并且可以利用波分復用(WDM)通過半導體中載流子的積聚來增強。神經網絡需要相對長距離的連接以執行分布式信息處理。電子電路中的金屬線連接與光子波導相比,光信號的衰減比電信號小,并且產生的熱量更小。
更重要的是,波導沒有電感或趨膚效應,這意味著對于神經互連遠程連接中與頻率相關的信號失真最小。目前的電子點對點連接利用了傳輸線和主動緩沖技術。
但是,神經網絡不是基于點對點鏈接,而是包含大量并行信號輸出和輸入。因為對于每個物理連接都使用最新的傳輸線和主動緩沖技術是不切實際的,所以為了避免電子布線的缺點,神經形態電子體系結構采用了數字時分復用技術,它可以犧牲帶寬來構建更大的神經網絡。
但是,對于無人駕駛、智能制造等許多計算任務而言,高帶寬和低延遲至關重要,因此只有直接、非數字的光子互連才能滿足這些應用。

圖3. 基于可激發激光器和諧振器實現神經脈沖. 圖源:Nature Photonics 15, 102 (2021). (Fig. 3)
長期以來,光學一直被認為是實現矩陣乘法和互連的最有前途的媒介。神經網絡的光學實現方法是由Psaltis和Farhat于1985年前提出的。今天,隨著微納制造工藝的進步,社會對計算出現了新的需求,為光子神經網絡的應用創造了新的可能。
第一個因素是硅光子學工藝的進步為神經形態計算的硬件實現提供了可能。
硅光子平臺可以容納高質量無源器件以及高速有源光電器件,所有這些器件都具有極高的集成密度。2014年,研究人員提出了關于可擴展硅光子神經網絡的想法,并于2017年與其他硅光子神經形態架構同時被實驗實現。研究人員找到了克服用于校準和控制的片上硅電子產品組件靈敏度的途徑,而片上光電子學的進步也提供了實現級聯和非線性的途徑。
第二個因素是神經形態光子計算的能力效率很高,相比于傳統計算很有優勢。
神經形態光子系統提供的計算能力越來越高,每秒每平方毫米的處理速度可以具有拍MAC(乘法累加運算),而每個MAC能量效率可以達到阿焦。盡管光子學比電子學在連接性和線性操作方面提供了優勢,但其他方面(例如在片上存儲器中存儲和讀取神經元權重)面臨著新的挑戰。盡管包括存內計算的各類光學存儲器已經進行了深入的研究,但是它們通常無法高頻讀寫。未來可擴展的神經形態光子處理器需要將電子產品與潛在的混合電子和光學存儲架構緊密集成,并根據應用和其在數字或模擬域中的存儲類型(易失性與非易失性)進行設計。
展望

圖4. 神經形態光子處理器架構. 圖源:Nature Photonics 15, 102 (2021). (Fig. 5) 圖譯:撰稿人 Blair
神經形態光子學的核心是創造出與神經網絡同構的光電子硬件,通過神經網絡算法和光電子硬件的高度匹配,由此產生的光子神經網絡具有高效的計算能力、低延遲、低能耗,并可以利用現有的算法方法進行編程和訓練。
近年來,光子神經網絡的研究激增,各種神經元模型、訓練技術和拓撲的架構概念和實現方式已經在研究中。
面向未來,學術界仍然需要進行持續的研究來擴展集成在單個網絡中的神經元的數量,從而實現電子器件、光學器件和光源的共同封裝。隨著可編程光子的現代集成平臺、片上級聯和非線性的新思想和新器件的發展,神經形態光子學有望在未來的機器學習和信息處理方面發揮巨大的作用。
本文作者Paul R. Prucnal與Bhavin J. Shastri還是教科書《神經形態光子學》(Taylor & Francis, CRC Press, 2017)的合著者,想要進一步學習的讀者朋友可以閱讀該書。(該書鏈接>>>)

論文信息:
Shastri, B.J., Tait, A.N., Ferreira de Lima, T. et al. Photonics for artificial intelligence and neuromorphic computing. Nat. Photonics 15, 102–114 (2021). https://doi.org/10.1038/s41566-020-00754-y
論文地址:
https://doi.org/10.1038/s41566-020-00754-y
編輯 | 趙陽
歡迎課題組投遞成果宣傳稿
轉載/合作/課題組投稿,請加微信:447882024
帶您每天讀1篇文章!加入>Light讀書會
本文為澎湃號作者或機構在澎湃新聞上傳并發布,僅代表該作者或機構觀點,不代表澎湃新聞的觀點或立場,澎湃新聞僅提供信息發布平臺。申請澎湃號請用電腦訪問http://renzheng.thepaper.cn。





- 報料熱線: 021-962866
- 報料郵箱: news@thepaper.cn
互聯網新聞信息服務許可證:31120170006
增值電信業務經營許可證:滬B2-2017116
? 2014-2025 上海東方報業有限公司