·對(duì)比備受熱捧的H100芯片，新的H200完成了1.4倍內(nèi)存帶寬和1.8倍內(nèi)存容量的升級(jí)，提高了處理密集生成式人工智能負(fù)載的能力。據(jù)介紹，在處理Meta的大語(yǔ)言模型Llama2（700億參數(shù)）時(shí)，H200的推理速度比H100提高了2倍。

·第一批H200芯片將于2024年第二季度上市。

第一批H200芯片將于2024年第二季度上市。

北京時(shí)間11月14日凌晨，英偉達(dá)在今年的SC23大會(huì)上突然宣布，推出新的頂級(jí)AI芯片HGX H200。第一批H200芯片將于2024年第二季度上市。

英偉達(dá)又一次自己超越自己，H200取代H100成為新的世界最強(qiáng)AI芯片。

對(duì)比備受熱捧的H100芯片，這款新的GPU（圖形處理單元）完成了1.4倍內(nèi)存帶寬和1.8倍內(nèi)存容量的升級(jí)，提高了處理密集生成式人工智能負(fù)載的能力。據(jù)介紹，在處理Meta的大語(yǔ)言模型Llama2（700億參數(shù)）時(shí)，H200的推理速度比H100提高了2倍。

從外觀上看，H200似乎與H100基本相同。內(nèi)存方面，H200芯片是第一款采用HBM3e（新型超高速高帶寬內(nèi)存）的GPU。HBM3e可加速生成式AI和大語(yǔ)言模型工作負(fù)載，將GPU的內(nèi)存帶寬提高到每秒4.8TB，而H100為每秒3.35TB，同時(shí)將其總內(nèi)存容量提高到141GB，而其前身為80GB。與再前一代的A100相比，其容量翻倍，帶寬增加2.4倍。

對(duì)于高性能計(jì)算（HPC），顯存帶寬也至關(guān)重要，其可以實(shí)現(xiàn)更快的數(shù)據(jù)傳輸，減少?gòu)?fù)雜任務(wù)的處理瓶頸。對(duì)于模擬、科學(xué)研究和人工智能等顯存密集型HPC應(yīng)用，H200更高的顯存帶寬可確保高效地訪問(wèn)和操作數(shù)據(jù)。據(jù)介紹，相較于H100，H200在處理高性能計(jì)算的應(yīng)用程序上有20%以上的提升。

英偉達(dá)大規(guī)模與高性能計(jì)算副總裁伊恩·巴克（Ian Buck）在演示視頻中表示，“HBM內(nèi)存的整合有助于加速計(jì)算密集任務(wù)的性能，包括生成式人工智能模型和高性能計(jì)算應(yīng)用，同時(shí)優(yōu)化GPU的利用率和效率?！薄敖柚鶫200，業(yè)界領(lǐng)先的端到端人工智能超算平臺(tái)的速度會(huì)變得更快，一些世界上最重要的挑戰(zhàn)，都可以被解決?！?/p>

H200還與支持H100的系統(tǒng)兼容。英偉達(dá)表示，云服務(wù)提供商在添加H200時(shí)無(wú)需進(jìn)行任何更改。亞馬遜、谷歌、微軟和甲骨文等公司的云服務(wù)部門(mén)將是明年首批接收新GPU的公司。

除了各種芯片性能升級(jí)外，一個(gè)重要的關(guān)注點(diǎn)在于公司是否能夠得到這些新芯片，或者它們是否會(huì)像H100一樣受到供應(yīng)限制。對(duì)于這個(gè)問(wèn)題，英偉達(dá)并沒(méi)有確切的答案。該公司表示正在與“全球系統(tǒng)制造商和云服務(wù)提供商”合作，以使其可用。英偉達(dá)發(fā)言人克里斯汀·內(nèi)山（Kristin Uchiyama）拒絕就生產(chǎn)數(shù)量發(fā)表評(píng)論。

此外，價(jià)格也是核心焦點(diǎn)。英偉達(dá)目前沒(méi)有列出新芯片的價(jià)格，內(nèi)山表示定價(jià)由英偉達(dá)的合作伙伴確定。據(jù)美國(guó)媒體CNBC報(bào)道，上一代H100估計(jì)每個(gè)售價(jià)在25000到40000美元之間，要想在最高水平上運(yùn)行，可能需要數(shù)千個(gè)H100芯片。

目前全球的人工智能公司還面臨著“算力荒”，急切尋找H100芯片成為常態(tài)（H100被視為高效訓(xùn)練和運(yùn)行生成式人工智能和大語(yǔ)言模型的最佳選擇）。這些芯片已經(jīng)成為了“硬通貨”，甚至有公司將H100芯片用作貸款的抵押品，在硅谷誰(shuí)擁有多少H100芯片也是熱門(mén)的八卦話題。

內(nèi)山在接受科技媒體The Verge的采訪中表示，H200的推出不會(huì)影響H100的生產(chǎn)，“你將看到我們?cè)谡麄€(gè)年度增加總體供應(yīng)”。據(jù)《金融時(shí)報(bào)》8月報(bào)道，英偉達(dá)計(jì)劃在2024年將H100的生產(chǎn)量增加到三倍，目標(biāo)是明年生產(chǎn)200萬(wàn)個(gè)（2023年生產(chǎn)約50萬(wàn)個(gè)）。