近年來，在大算力和海量大數據的驅動下，以深度學習為代表的AI技術飛速發展，以計算機視覺技術為例，依托廣闊的應用場景從理論研究走向大規模的應用落地，人臉識別、目標檢測等被廣泛應用于公共安全、城市交通等領域，推動城市治理的智能化升級。

“但數據驅動的深度學習算法存在不透明、不可解釋等局限性，即便是開發者也難以理解其內在的運行邏輯，這就導致系統可能遭受到難以被察覺的惡意攻擊。他以對抗樣本攻擊舉例，通過對輸入數據故意添加干擾，使肉眼或許難以發現，但卻能誤導算法以高置信度給出錯誤輸出，”12月27日，瑞萊智慧副總裁唐家渝在第十八屆安博會期間舉辦的第十六屆中國安防論壇·技術論壇上表示。

瑞萊智慧RealAI 副總裁 唐家渝

北京瑞萊智慧科技有限公司成立于2018年7月，是清華大學人工智能研究院發起成立的科技成果轉化企業，致力于提供安全可控人工智能基礎設施平臺與解決方案。中國科學院院士、清華大學人工智能研究院名譽院長張鈸和清華大學計算機系教授朱軍共同擔任公司首席科學家，清華大學計算機系博士田天出任CEO。

唐家渝繼續解釋道，這背后的原理在于，深度學習算法是通過對數據集中的示例進行學習從而建立出模型，與人類不同，它沒有對先驗知識進行合理利用，它的判斷取決于樣本數據，所以深度學習算法永遠無法達到人類的判斷水平。如果以一條分界線來類比，在進行決策判斷的時候，模型決策的分界線與人類真實決策的分界線并非完全吻合，存在“誤差”，因此可通過生成偏差數據，使其在誤差空間內，人類能正常判斷，但模型卻判斷錯誤，從而實現對AI系統的欺騙或攻擊。

這是深度學習范式下AI應用存在的結構性缺陷，貫穿于AI全生命周期。除了在運行環節對輸入數據添加“擾動”，在最開始的模型設計環節，通過在訓練數據中添加“污染數據”進行“投毒”，導致模型被埋藏后門，再通過預先設定的觸發器激發后門，模型也將輸出事先設定的錯誤結果。

唐家渝表示，通過數據污染、惡意樣本攻擊等方式對算法進行深層次攻擊已經成為趨勢，隨著AI技術尤其是計算機視覺技術的廣泛應用，這一安全風險的真實威脅開始顯現。例如，公共安全領域，視頻監控、安檢閘機等智能安防設備被不法分子攻擊，用于躲避追蹤、冒充他人等；交通領域，自動駕駛汽車被干擾“致盲”，引發安全事故等；在金融領域，線上銀行的人臉認證被破解，用于非法轉賬等詐騙行為。

除了算法漏洞，“數據驅動”衍生的安全風險還遠不于此。海量人臉數據被惡意采集、濫用，導致用戶隱私泄漏；泄露的人臉照片在表情驅動算法下生成偽造視頻，用于攻破人臉核驗系統等...如何有效應對人工智能安全風險，保障人工智能安全可控的應用落地成為一項重要課題。

那么應如何尋求解決方案呢？

人工智能應用是集業務、算法、數據于一體的有機整體，涉及訓練、檢驗、運行等生命周期階段。唐家渝表示，應面向所有關鍵流程，布局全面且有針對性的安全防御措施。同時他強調，人工智能安全攻防技術在快速演變過程中，新的攻擊手段不斷出現，除了要解決“近憂”，更要著眼于“遠慮”，對于未知威脅進行研判和防范，因此需打造動態升級、科學前瞻的防御理論及技術體系。

瑞萊智慧的解題思路就是建立兼顧“被動”和“主動”的防御機制。唐家渝解釋道，被動防御為AI應用部署靜態的安全能力，防范已知安全風險，比如對外部訪問、輸入數據、行為決策等進行檢測，為算法模型部署加固防護組件等，提升系統抵御攻擊的能力。主動防御則是為補充被動式防御的局限，引入和強化人工智能安全團隊力量，以動態防御對未知威脅進行風險預判，構建自適應、自生長的安全能力。

具體而言，目前在被動防御方面，瑞萊智慧推出多款人工智能安全產品：AI安全防火墻，其能夠在AI系統運行環節有效檢測和抵御對抗樣本、深度偽造等新型攻擊手段；人工智能安全平臺RealSafe，集成對抗攻防算法，提供端到端的模型安全檢測能力，自動化高效評估AI安全風險，并提供安全性增強方案；隱私保護計算平臺RealSecure，在數據訓練、建模等環節部署數據安全能力，實現“數據可用不可見”。

在主動防御方面，瑞萊智慧則推出人工智能安全靶場RealRange，提供實戰化、體系化的一站式人工智能攻防演練服務，基于攻防實戰演練將安全風險暴露前置，提前發現和適應瞬息萬變的新型攻擊和高級威脅，動態提升團隊軟實力，實現“讓風險發生在靶場，讓有效防御構建在安全事件之前”。

瑞萊智慧AI安全產品矩陣，可實現對人臉識別、目標檢測、圖像分類等系統的安全升級，目前已在多個場景得到應用。比如與國內某頭部人臉識別支付廠商合作，通過利用AI對抗攻擊算法全面發掘人臉識別模型的漏洞，并進一步提供防御加固方案，提升刷臉支付的安全性。與某電網企業的合作中，利用RealSafe平臺自動發掘輸電線路危險品識別算法模型的漏洞，通過對抗訓練提升算法魯棒性，確保國家基礎設施安全性。

最后，唐家渝表示，AI安全是新興領域，除了部署技術體系外，更需要框架指導、標準規范、法律合規等多個維度協同推進。他介紹道，目前瑞萊智慧已經與國家工信安全中心、中國信通院、國家互聯網應急中心等單位開展合作，聯合落地標準制定、測試評估等工作，推動AI安全從“試點示范”走向“推廣應用”。未來，瑞萊智慧也將持續聚焦于國際領先的AI安全攻防技術的研發和產業化實踐，護航智能產業安全可控地蓬勃發展。