AMD on pitänyt Advancing AI -julkaisutapahtuman, jossa nähtiin kuluttajillekin uudet Ryzen 8040 -prosessorit. Tapahtuman päätähdet olivat kuitenkin palvelinmaailman uudet Instinct-sarjan kiihdyttimet.
AMD julkaisi, kuten ennakkotiedoista jo tiedettiinkin, kerralla kaksi uutta Instinctiä. Instinct MI300X on yhtiön uusi lippulaivatason kiihdytin sekä HPC- että tekoälytehtäviin, kun Instinct MI300A on maailman ensimmäinen datakeskus-APU-piiri. Molemmat perustuvat samaan perusrakenteeseen ja erot löytyvät muisteista sekä laskentapiireistä. Standardiin OAM-formaattiin ”3.5D-paketoidut” piirit valmistetaan TSMC:n 6 ja 5 nanometrin luokan prosesseilla.
Instinct MI300X on varustettu yhteensä kahdeksalla XCD-sirulla, joista kustakin löytyy aktiivisena 38 eli yhteensä 304 CDNA3 Compute Unit -yksikköä tai 19 456 stream-prosessoria. XCD:t istuvat neljän I/O-sirun päällä, joista kukin on varustettu kahdella 1024-bittisellä HBM3-muistiohjaimella sekä 64 Mt:n Infinity Cache -välimuistilla ja joukolla 4. sukupolven Infinity Fabric -linkkejä. HBM3-muistipinoja on yhteensä kahdeksan ja ne ovat kukin 12-kerroksisia, eli käytössä on yhteensä 192 Gt muistia ja noin 5,3 Tt muistikaistaa.
Instinct MI300A on puolestaan tiputtanut kyydistä kaksi XCD-sirua ja korvannut ne kolmella Zen 4 CCD-sirulla, joissa on yhteensä 24 ydintä. Kuuden XCD:n voimin Compute Unit -yksikköjä on 228 ja stream-prosessoreita 14 592. IO-sirut ovat ennallaan, mutta HBM-pinot ovat vain 8-kerroksisia, eli HBM3-muistia on käytössä vain 128 Gt. MI300A:n XCD:t ja CCD:t jakavat yhteisen muistiavaruuden Infinity Cache -välimuisteineen.
Teoreettisen suorituskyvyn osalta löydät AMD:n julkaisemat vertailut NVIDIAn toistaiseksi nopeimpaan H100 SXM -kiihdyttimeen yltä. NVIDIA on jo esitellyt uudet H200-versiot, joissa muistit on päivitetty HBM3E-aikaan, mutta niitä ei odoteta markkinoille vielä noin puoleen vuoteen.
Teoreettisia lukuja mielenkiintoisempia ovat käytännön testit, joissa on kuitenkin syytä muistaa, että kyse on valmistajan omista luvuista. AMD:n mukaan MI300X peittoaa H100:n Flash Attention 2- ja Llama 2-70B kernel -tekoälytesteissä noin 10-20 %:n erolla kernelistä riippuen. Koko palvelimen eli kahdeksan kiihdyttimen päättelytehtävissä Bloom- ja Llama 2 -sovellutuksissa erot ovat puolestaan yhtiön mukaan jopa 60 ja 40 % MI300X Platformin eduksi, kun verrokkina on NVIDIAn vastaava H100 HGX -alusta. Opetustehtävissä alustojen puolestaan kerrotaan olevan tasavertaisia.
MI300A:n suorituskykyvertailuissa tilanne muuttuu hieman dramaattisemmaksi. OpenFOAM HPC-testissä MI300A peittoaa H100:n jopa nelinkertaisella suorituskyvyllä ja Mini-NBODY, HPCG- ja GROMACS STMV -testeissä eroa on 10-20 %. Teoreettisten lukujen osalta Instinct MI300A:n luvataan puolestaan tarjoavan jopa kaksinkertaista ”Peak HPC Performance per Watt” suorituskykyä verrattuna NVIDIAn Grace Hopper GH200 Superchip -piireihin.
Lähde: AMD:n lehdistömateriaalit
Juu, unohtui mainita OAM-moduulien käyttö
Osa vertailuista kilpailijan tuotteisiin on vähän epäreiluja. H100 kärsii muistinpuutteesta. Parempi vertailukohta asiakkaan kannalta h200, mutta toki h200 on h2/2024 tuote.