7月27日上午，近來鮮少露面的圖靈獎獲得者、多倫多大學計算機科學系名譽教授杰弗里·辛頓（Geoffrey Hinton）在第43屆國際信息檢索大會（SIGIR 2020）上作為首位主題演講者，進行了題為“神經網絡的新時代（The Next Generation of Neural Networks）”的主題報告。

他在報告中回顧了無監督神經網絡的發展歷史，結合表達學習模型的進化歷程，指出當前無監督學習方法所面臨問題的根源在于：過度關注數據的重構損失（Reconstructive Loss），忽略了對數據間關聯關系的捕捉。

基于此，他提出了下一代神經網絡模型的構想，提出利用對比損失函數（Contrastive Loss）建模樣本間的局部關系、增強數據間表達的一致性的解決思路。

杰弗里·辛頓演講視頻截圖

杰弗里·辛頓被稱為“神經網絡之父”，出生于1947年12月6日，是加拿大認知心理學家和計算機科學家。辛頓1970年畢業于劍橋國王學院，隨后在英國愛丁堡大學獲得人工智能博士學位。2019年3月，因對人工智能的繁榮發展奠基，杰弗里·辛頓、約書亞·本吉奧（Yoshua Bengio）和楊立昆（Yann LeCun）三人被授予2018年的圖靈獎。

值得一提的是，杰弗里·辛頓近來很少在公開演講中出現。2020年6月18日，他在個人推特上表示，因為發現之前對感知學習想法的“致命錯誤”，推掉了一段時間內接受的所有報告。

杰弗里·辛頓在7月27日的報告中回顧了三種不同類似的學習模式，即監督學習（學習在給定輸入向量時預測輸出）、強化學習（學習找出一個能夠使收益最大化的選擇）和無監督學習（在不提供監督信息的條件下進行學習）。

辛頓在報告中解釋為什么需要無監督學習。他指出，人類大腦有10^14個神經元連接，而生命的長度只有10^9秒，因此人類是無法完全依賴有監督學習的方法完成所有神經元訓練，而需要更多來自于無監督學習的幫助，受此啟發，構建智能的機器模型也應綜合考慮監督與無監督方法進行協同訓練。

報告最后，他還展示了上述構想的一種具體實現方案SimCLR，應用該方案能夠顯著提升下游圖像分類任務的效果。