NVIDIA julkaisi H200-kiihdyttimen ja uusia Grace Hopper GH200 -alustoja

NVIDIA on muiden alan jättien tavoin vahvasti läsnä parhaillaan käynnissä olevassa SC23-konferenssissa. Yhtiö on julkaissut tapahtumassa muun muassa virallisesti uuden H200-laskentapiirin ja siihen perustuvia palvelinkokonaisuuksia datakeskuskäyttöön.

H200:n ytimessä on siruna vanha tuttu GH100, joka on käytössä myös esimerkiksi H100-kiihdyttimissä ja Grace Hopper GH200 -superpiirissä. Piiristä löytyy tällä tietoa edelleen samat 16896 FP32 CUDA-ydintä, 528 tensoriydintä, 1,83 GHz:n Boost-kellotaajuus ja 700 watin TDP SXM5-formaatissa.

Uutta löytyy niiden sijasta muistipuolelta. H200:ssa on otettu käyttöön paitsi aiemmin käytöstä poistettu kuudes HBM-muistiohjain, myös uudet nopeammat HBM3E-muistit. Uudet muistit toimivat noin 6,5 Gbps:n nopeudella ja 6144-bittisen muistiväylän jatkeena se tarkoittaa 4,8 Tt/s muistikaistaa. H100:ssa oli käytössä 5120-bittinen muistiväylä 5,24 Gbps:n HBM3-muisteilla, mikä tuotti 3,35 Tt/s muistikaistaa. Muistia on luonnollisesti nyt myös käytössä aiempaa enemmän. H100:ssa oli käytössä viisi 16 Gt:n HBM3-pinoa eli 80 Gt muistia, kun H200:ssa on kuusi 24 Gt:n HBM3E-pinoa. Lyhyemmällä matematiikalla muistia olisi siis 144 Gt, mutta siitä on saantojen parantamiseksi napattu 3 Gt sivuun eli käyttöön jää 141 Gt muistia.

H200:n myötä julkaistiin myös uusi HGX H200 -paketti, joka yhdistää kahdeksan H200-kiihdytintä yhteen pakettiin yhdistettäväksi sopivaan palvelinalustaan. HGX H200 on suoraan yhteensopiva nykyisten HGX H100 -järjestelmien kanssa, eli valmistaja voi päivittää kätevästi pelkän H200-kiihdytinpatteriston koko palvelimen sijasta.

Lisäksi NVIDIA kertoi uudesta Quad GH200:sta, joka yhdistää neljä Grace Hopper GH200 -superpiiriä yhdelle piirilevylle. Vaikka Grace-prosessoreiden voisi olettaa mahdollistavan Quad GH200:n käytön sellaisenaan, se vaatii kaverikseen palvelinisännän.

Yhtiö kertoi myös EuroHPC:n tilaamasta Jupiter-supertietokoneesta, joka tulee sisältämään yhteensä 23 762 GH200-noodia. Supertietokoneessa hyödynnetään nimenomaan Quad GH200:sta ja Quantum-2 InfiniBand -verkkoa, mutta muut yksityiskohdat kuten isäntäpalvelimet jäivät vielä hämärän peittoon. Evidenin ja ParTecin toteuttamasta supertietokoneesta tulee valmistuessaan tähän mennessä suurin Hopper-arkkitehtuuriin perustuva supertietokone.

Mukaan saatiin mahtumaan myös kiusoittelua tulevaisuuden suorituskyvystä. NVIDIAn kaavion mukaan ensi vuonna julkaistava Blackwell arkkitehtuuri ja siihen perustuva BH100 tulee olemaan GPT3-175B LLM-mallin päättelytehtävissä (Inference) yli kaksi kertaa niin nopea, kuin nykyinen H200.

Lähde: NVIDIA (1), (2)