Light | 矩陣乘法光子加速器及應用

2022-04-23 07:52

來源：澎湃新聞·澎湃號·湃客

撰稿 | 成駿偉（華中科技大學）

近年來，隨著人工智能和第五代通信對數據處理需求的不斷增長，數據計算容量和計算功耗快速增加。傳統電子方法的時鐘頻率一般限于幾個GHz，已不能滿足超高速、低延遲的海量數據處理需求。另一方面，隨著摩爾定律的失效，使得依靠半導體電子技術來提高它們的性能和能量效率變得越來越困難。

由于信息容量的持續大幅度增加，在可預見的未來，一般的電子處理器難以勝任高復雜度的人工智能以及信號處理任務。而矩陣計算是科學與工程領域中應用最廣泛、必不可少的信息處理工具之一。

大多數信號處理，如離散傅里葉變換和卷積運算，可以歸因于矩陣計算。特別以深度學習為代表的神經網絡算法，其主要特征就是包含了繁重的矩陣計算，以卷積神經網絡為例，其矩陣計算的開銷可以占據總開銷的80%，甚至90%以上。加速和優化矩陣計算，可以大幅地改善信號處理和人工智能的計算效率和功耗。

光子器件具有超大帶寬和超低功耗，光的頻率可達100 THz，具有多個自由物理維度，這使得光子計算成為“后摩爾時代”中高容量、低延遲矩陣信息處理中最有競爭力的候選者之一。最近幾年，光子矩陣乘法得到了迅速的發展，并被廣泛應用于光信號處理、人工智能和光子神經網絡等光子加速度領域。基于矩陣乘法計算的大量應用展示了光子加速器領域巨大的潛能和機會。

圖1 矩陣乘法光子加速器概念圖

近期，來自華中科技大學的科研團隊，與香港中文大學、上海理工大學、浙江大學以及曦智科技的多位研究學者合作，以“Photonic matrix multiplication lights up photonic accelerator and beyond”為題，在 Light: Science & Applications 上發表了矩陣乘法光子加速器主題的綜述文章。

光子矩陣-矢量乘法分類

目前主流的光子矩陣-矢量乘法（MVM）主要包含三類，即基于（單/多）平面光轉換（PLC）的矩陣計算，基于馬赫澤德干涉儀（MZI）網絡的矩陣計算，和基于波分復用（WDM）的矩陣計算。其中平面轉換的矩陣計算又分為單平面矩陣計算（SPLC）和多平面矩陣計算（MPLC），它們都屬于相干計算，已報道的輸入向量長度分別可以達到357和490000的量級。MZI和WDM方法的輸出向量長度一般在100以下，主要用于集成光子矩陣計算芯片。這些方法主要基于光子的空間維度或者波長維度進行矩陣計算，還可以結合光子多個維度構建超高容量的光子張量核心。

圖2 光子矩陣乘法分類

光子矩陣-矢量乘法加速應用

光子矩陣乘法網絡本身可以用作光子信號處理的通用線性光子回路。近年來，MVM已成為多種光子信號處理方法的有力工具。MPLC-MVM得益于其大規模矩陣計算的能力，可以管理大量模式，可以用作通用的模式分類器，其操作的模式規?？梢赃_到幾百個，還可以進一步擴展實現光子多個經典物理維度的同時控制，以及用于空間成像加密等應用。MZI-MVM易于集成，并且由于移相器工作速度快，可以實現MZI網格功能的自動配置，用作自適應的模式處理器件，實現多個模式的自由上傳、下載、復用解復用以及信道解擾等。WDM-MVM占用空間更小，更容易配置傳輸矩陣，已經應用于可編程脈沖整形、微環權重庫以及信號分量分析等。

圖3 光子矩陣乘法應用

人工智能技術已廣泛應用于各種電子行業，如基于深度學習的語音識別和圖像處理。矩陣計算作為神經網絡的基本構件，占據了大部分的計算任務，例如GoogleNet和OverFeat模型的計算量超過80%。提高矩陣的性能是神經網絡加速的最有效手段之一。與電計算相比，光計算在數據存儲和流量控制方面較差，而光學非線性的低效率限制了激活函數等非線性計算的應用。然后，通過波長、模式和偏振等復用技術，光學方法在大規模并行計算方面具有顯著優勢，同時具有極高的數據調制速度和低的延時。因此，光子網絡非常適合于矩陣計算。光計算和人工智能的結合有望實現智能光子處理器和光子加速器。近年來，人工智能技術在光學領域也得到了快速發展。各種光子矩陣計算都被驗證可用于替代神經網絡算法的線性部分，其單核已經驗證計算容量可以超過11TOPS，光子矩陣計算的延時普遍在皮秒量級，單次乘加操作的能耗在飛焦量級，信號調制速率可以高達100 GHz。相比電子計算，其在速率、延時、功耗等方面具有明顯的優勢。

挑戰與展望

目前，光子矩陣計算和電子計算相比，兩者之間仍然存在著巨大的差距，為了解決這個問題,直接而有效的解決方案之一是制造大規模光子集成回路。與集成電路類似，制造技術的改進為實現更大規模和更高集成密度的光子集成回路芯片提供了機會。此外，通過使用光子的多個自由維度，例如模式、波長等，光學器件可以進行大量的并行計算，這些并行操作可以在一個物理光子計算核心中執行。同時還可以通過優化光子器件，例如光譜再利用策略、更高調制速度和更低功耗的調制器、低損耗波導、混合集成等手段擴展網絡規模。

矩陣計算和激活函數是神經網絡模型的兩個基本操作元素。光子矩陣計算在信號速率、延時、計算密度和功耗等方面都比電子方法具有顯著優勢，但光子激活功能仍不成熟，目前主要分為光-電-光轉換方法和全光方法，未來如何實現低功耗、高響應速率的激活函數仍然是一個難題。

在全光人工神經網絡成熟之前，特別是在光學非線性效應和全光級聯成熟前，光電混合人工智能計算仍是一種更實用、更有競爭力的深層人工神經網絡的候選架構。因此，開發高效、專用的光電混合人工智能硬件芯片系統是光子人工智能的核心研究路徑之一。未來可基于光子矩陣計算和電子控制實現加速器底層硬件，并開發適用于該硬件的各種算法，最后在用戶層可以靈活地調用這些算法實現各種加速應用，例如信道解擾器、圖像識別等。