·英偉達GH200 Grace Hopper超級芯片首次亮相影響力最廣的國際AI性能基準評測——MLPerf行業(yè)基準測試。在此次測試中， GH200每芯片性能優(yōu)勢比H100 GPU高出17%。

·為提高大型語言模型（LLM）的推理性能，英偉達推出一款能夠優(yōu)化推理的生成式AI軟件——TensorRT-LLM，其能夠在不增加成本的情況下將現(xiàn)有H100 GPU的推理性能提升兩倍以上。

當?shù)貢r間9月11日，推出不到兩個月的英偉達GH200 Grace Hopper超級芯片首次亮相MLPerf行業(yè)基準測試。在此次測試中，具有更高的內(nèi)存帶寬和更大的內(nèi)存容量的GH200與H100 GPU相比，性能高出17%。

Grace Hopper與DGX H100 SXM在MLPerf推理數(shù)據(jù)中心性能結(jié)果的比較。來源：英偉達

在新聞發(fā)布會上，英偉達人工智能總監(jiān)戴夫·薩爾瓦托（Dave Salvator）表示：“Grace Hopper表現(xiàn)出色，首次提交的性能比H100 GPU性能高出多達17％，而我們的H100 GPU產(chǎn)品已經(jīng)在各個領(lǐng)域取得了領(lǐng)先地位。”

MLPerf是影響力廣泛的國際AI性能基準評測，其推理性能評測涵蓋使用廣泛的六大AI場景，比如計算機視覺、自然語言處理、推薦系統(tǒng)、語音識別等，每個場景采用最主流的AI模型作為測試任務(wù)，每一任務(wù)又分為數(shù)據(jù)中心和邊緣兩類場景。其由MLCommons（由來自學術(shù)界、研究實驗室和行業(yè)的人工智能領(lǐng)導(dǎo)者組成的聯(lián)盟）開發(fā)，旨在對硬件、軟件和服務(wù)的訓(xùn)練和推理性能“構(gòu)建公平和有用的基準測試”。

此次MLPerf Inference v3.1基準測試是繼4月發(fā)布3.0版本之后的又一次更新，值得注意的是，這次更新包含了兩個第一次：引入基于60億參數(shù)大語言模型GPT-J的推理基準測試（AI模型的大小通常根據(jù)它有多少參數(shù)來衡量）和改進的推薦模型。

GPT-J是來自EleutherAI的OpenAI GPT-3的開源替代品，現(xiàn)已在MLPerf套件中用作衡量推理性能的基準。與一些更先進的人工智能模型（如1750億參數(shù)的GPT-3）相比，60億參數(shù)的GPT-J屬于相當輕量的模型，但它非常適合推理基準的角色。該模型總結(jié)了文本塊，并可在延遲敏感的在線模式和吞吐量密集型的離線模式下運行。

GH200 Grace Hopper超級芯片在GPT-J工作負載方面取得了優(yōu)異的成績，在離線和服務(wù)器場景中的每加速器性能都達到了最高水平。據(jù)英偉達介紹，GH200 Grace Hopper超級芯片是專為計算和內(nèi)存密集型工作負載而設(shè)計，它在最苛刻的前沿工作負載上提供了更高的性能，如基于Transformer的大型語言模型（具有數(shù)千億或數(shù)萬億參數(shù)）、具有數(shù)萬億字節(jié)嵌入表的推薦系統(tǒng)和矢量數(shù)據(jù)庫。

GH200 Grace Hopper 超級芯片的邏輯概述。來源：英偉達

GH200超級芯片最新版由英偉達CEO黃仁勛在8月的世界頂級計算機圖形學會議SIGGRAPH上公布。之所以稱其為超級芯片，因為它在同一塊板上將英偉達Grace中央處理單元（CPU）和Hopper圖形處理單元（GPU）連接在一起。借助新型雙GH200服務(wù)器中的NVLink，系統(tǒng)中的CPU和GPU將通過完全一致的內(nèi)存互連進行連接。這種組合提供了更大內(nèi)存、更快帶寬，能夠在CPU和GPU之間自動切換計算所需要的資源，????實現(xiàn)性能最優(yōu)化。

薩爾瓦托說：“如果GPU非常忙碌，而CPU相對空閑，我們可以將功率預(yù)算轉(zhuǎn)移到GPU上，以允許它提供額外的性能。通過擁有這個功率余地，我們可以在整個工作負載中保持更好的頻率駐留，從而提供更多的性能。”

TensorRT-LLM能夠在不增加成本的情況下將現(xiàn)有H100 GPU的推理性能提升兩倍以上。來源：英偉達

此外，為提高大型語言模型（LLM）的推理性能，英偉達推出一款能夠優(yōu)化推理的生成式AI軟件——TensorRT-LLM，其能夠在不增加成本的情況下將現(xiàn)有H100 GPU的推理性能提升兩倍以上。重要的是，該軟件可以實現(xiàn)這種性能改進，而無需重新訓(xùn)練模型。

英偉達稱，由于時間原因，TensorRT-LLM沒有參加8月的MLPerf提交。據(jù)英偉達的內(nèi)部測試，在運行60億參數(shù)GPT-J模型時，相較于沒有使用TensorRT-LLM的上一代GPU，在H100 GPU上使用TensorRT-LLM能夠?qū)崿F(xiàn)8倍的性能提升。