Muistivalmistajat valmistautuvat täyttä häkää helmikuun 18.-22. San Franciscossa pidettävään IEEE International Solid-State Circuits Conferenceen eli ISSCC:een. Tapahtuman alla on saatu kaivettua jo esiin tapahtuman ohjelma, josta paljastuu mm. Samsungin ja SK Hynixin sotasuunnitelmat.
Korealaisjätti Samsung aikoo esitellä ISSCC:ssä ennakkotietojen mukaan ainakin uusia maksimissaan 37 Gbps:n nopeuteen yltäviä 16 gigabitin GDDR7-muisteja. GDDR7-muisteissa tullaan siirtymään PAM3-signalointiin, mikä parantaa osaltaan muistien nopeutta ja näytönohjaimilla onkin edessään muistikaistan lähes kaksinkertaistuminen samalla väylänleveydellä. Nykyisissä GDDR6-muisteissa käytetään NRZ- ja GDDR6X-muisteissa PAM4-signalointia.
Muistitarjonta jatkuu 32 gigabitin versioilla DDR5-8000 muistipiireistä. Lisäksi Samsung tulee esittelemään tallennusmedioihin uusia 280-kerroksisia 3D QLC NAND -muistipiirejä terabitin kapasiteetilla. Uudet QLC-muistipiirit yltävät jopa 3,2 Gt/s nopeuteen, kun nykyisellään nopeimmat NANDit yltävät 2,4 Gt/s nopeuteen.
Korealaisten muistijoukkueen lippua pitää yllä myös SK Hynix. Yhtiö tulee esittelemään tapahtumassa Samsungin tapaan uusia GDDR7-muisteja, mutta ennakkotietojen mukaan esillä tulisi olemaan ”vain” 35,4 Gbps:n nopeuteen yltäviä versioita. Toisaalta Samsungilla on tosin ollut ennenkin tapana esitellä kerralla myös maksiminopeus vaikkei siihen yltäviä piirejä olisikaan vielä tiedossa toviin. Raskaaseen laskentaan SK Hynixillä on tarjolla 128 Gt/s nopeuteen per muistipino yltäviä 16-kerroksisia 48 Gt:n HBM3E-muisteja.
No hyvä! Voivat kaventaa muistiväyliä seuraavaan sukupolveen, kun voi täyttää puuttuvan osa nopeammilla muisteilla!
😎
Ei välttämättä nähdä julkaisukorteissa nopeimpia mahdollisia muisteja. 4090 julkistuksen aikaan oli olemassa 24Gbps muistit mutta ei korttien spekseissä sellaisia näkynyt.
Cachen toteutus ei skaalaannu 3nm prosessiin mennessä. 40×0 sarja säästi paljon muistikaistan tarpeessa siirtymällä isoon cacheen. Jos/kun nvidia edelleen tekee monoliittia niin oletettavasti cachen kokoa ei saa järkevästi kasvatettua ja tarvitaan nopeampaa muistia.
Nvidian ai kiihdyttimet käyttävät hbm3/e muisteja.
Micronilla tosin näkyi 24 Gb siruja roadmapissa, että ehkäpä niillä sitten kasvatellaan.
Isompi kapasiteetti on olemassa ja tulossa
Micron Roadmap Details GDDR7 Memory For Next-Gen NVIDIA GPUs: Up To 24Gb & 32 Gbps Dies In 2024, 24Gb+ & 36 Gbps In 2026
wccftech.com
Jep, lainaamassasi viestissä juurikin tuon Micronin roadmapin mainitsin.
Se vaan, että jos tuo 24 Gb on alkuun harvinaisempi ja 16 Gb:tä selvästi enemmän tarjolla niin en ylläty jos isot mutta hitaammat muistit menee ammattilaistuotteisiin ja pienet mutta nopeat puolestaan pelikortteihin.
Pelikorteissa taitaa 24GB riittää vielä pitkään. Jossain 128bit väyläisissä toki kiva, kun sais 12GB muistia 8GB tilalta.
Pelaamisen riittänee juu. Saa nähdä kuinka paljon valmistajia kiinnostaa targetoida myös niitä kuluttajia, jotka kaipaavat isomuistista korttia tekoälyjuttuihin. Toistaiseksi ei mikään merkittävä porukka, mutta kasvava kuitenkin ja kaikkien kolmen näyttisvalmistajan markkinoinnissa kohderyhmä huomioidaan jo.
Luulisi, että valmistajien intresseissä olisi käännyttää nämä tekoälytöihin muistia kaipaavat ammattilaiskortteihin, joista voi pyytää moninkertaisen summan.
xx90 kortit isolla muistilla on sinänsä erikoinen ratkaisu, kun muistia on melko hyvin AI-harrastelijoille, onnistuu pelaaminenkin ja hinta on "edullinen" vrt. Quadrot, joten kannibalisoi käytännössä valmistajan omia katteita.
En ihmettelisi, jos jossain kohtaa "pelikortit" ja "AI-kortit" selkeästi eriytettäisiin toisistaan, olisiko se sitten tuomalla HBM muistit (takaisin) Quadroihin tms.
Eikös noissa ammattilaiskorteissa ole kuitenkin omat ajuritemppunsa AI-kiihdytykseen mitä eivät kuluttajatason GeForcet saa että sikäli ammattilaiskorttien ja GeForcejen välille on olemassa selkeä pesäero?
Hyvin todennäköisesti on, mutta hyvin näyttää 4090 kauppansa tekevän AI hommiin Quadroihin verrattain halvan hintansa vuoksi.
Hienovaraisesti koitin rivien välistä tarjota noita 48GB Quadroja vaihtoehtona, kun muistia kaivattiin lisää, pelikortteihin kun sitä ei ihan hetkeen varmaan 24GB enempää tarvita.
AI:sta kun puhutaan niin nvidian AI konesalimyynti on nimenomaan hbm muisteilla olevaa hopperia. ADAa myydään hyvin vähän AI:hin kun verrokkina on hopper. Nvidian Q3 konesalimynti(hopper) 14.5miljardia ja pelipuoli vajaan 3 miljardia(ada). Ero ratkeaa vielä isommaksi, kun konesaliin lupaillaan kasvua ja peli gpu puolelle myynnin vähentymistä.
Vastaavasti amd:lla on mi300 ja sen eri variantit konesali/ai/hpc käyttöön. Hyvin vähän mi300:lla tekemistä peligpu:n kanssa.
Toki ada:sta on 48GB muistilla oleva versio pro/ai käyttöön. Hinnat tuolla kortilla 3x versus 4090. ADA 48GB kortti ei myy mitenkään älyttömän paljoa. En ylläty jos blackwell:sta tulee 72GB+nvlink versio millä saadaan 144GB keskusmuistilla oleva tuplakorttiratkaisu ai/pro käyttöön. Kuluttaja gpu:sta väsätty "ai/pro" kortti tuskin myy juur mitään, jos verrokkina on konesali blackwell tai hopper.
AMD sen sijaan saattaisi tuodakin, kun oletettavasti markkinaosuus ja liikevaihto kelpaisi…
Jos AMD on luopumassa highend:sta rdna4 sukupolvessa kuten on huhuttu niin oletettavasti tulee "vain" 256bit väylällä oleva kortti. Tuohon ei saane kuin 24GB ja 48GB muistit kun käytetään isompikapasiteettisia gddr7-piirejä. Nvidialla on tällä hetkellä tuollaiset variantit olemassa ad102 piiristä. 48GB kortit tosin superkalliita, 3x 4090:en hinta. Jos joku noita 48GB kortteja ostaa niin se on suorastaan kermankuorintaa nvidialle.
En usko, että edes 384-bit 72GB gddr7 muistilla oleva kortti talloo AI-konesalin varpaille. Isoimpien mallien tarvimat muistimäärät ovat todella valtavia. gpt4:sta on huhuttu että vaatii toistakymmentä h100:sta siihen, että malli on muistissa. Yhdessä h100:ssa muistaaksen 80GB muistia. Näin isojen mallien kohdalla tulee oleelliseksi kysymykseksi, että miten piirien välinen kommunikaatio toimii. H200:en mikä tulee kesällä myyntiin 141GB muistilla. amd:n mi300x:ssa 192GB muistia. pro korttien hbm3 ja hbm3e muistit myös ihan törkeän paljon nopeampia kuin mitä gddr7 olisi 256bit tai 384bit väylällä. mi300x 5.3TB/S. AMD:n mi300x tän hetken muistikuningas.
Metan zuckerberg sanoi eilen sijoittajapuhelussa, että perinteisesti kun tulee uusi malliversio niin konesalin laskentakapasiteetin tarvii kymmenkertaistua.
En vaan tiedä kuinka realistista on käännyttää tekoälyharrastelijoiden joukko ostelemaan ton hintaisia näyttiksiä. Enempi LLM-puuhastelijoiden localllama subredditissä näkyy puhuttavan 2x 3090 tyyppisistä ratkaisuista jos isoa muistia lähdetty hakemaan tai syvätaskuilla sitten Applen M -siruilla varustettuja koneita, joissa mennään reippaasti yli tuon 48 Gt.
Jos RTX 50 -sarjan lippulaiva on 24 Gt kortti niin voi olla, että käännytys tapahtuu enempi kilpailijan leiriin eikä Quadroihin. Toki mahdollista, että tekoälyharrastelijat niin pieni markkina että evvk.
Ei puhuta mistään pienestä joukosta. 4090:n ja jopa jossain määrin 4080:n hintoja on selvästi ohjannut AI-hype ja kiinakiellot. Hinnat laskivat tasaisen hitaasti, kunnes AI-juna lähti puksuttamaan ja 4090 kallistui selvästi.
Ei tuo juuri tuloksessa näy. vajaa 3 miljardia pelipuoli ja nvidia ohjasi, että q4 tulos pelipuolella laskee. Samaan aikaan konesalipuoli missä ei ole ada piirejä kasvaa kuin pullataikina ollen q3:lla 14.5 miljardia ja q4:lla todennäköisesti 16.5miljardia. Numeroista näkee missä kasvu ja myynti on. Konesalipuoli q4:lla kasvaa 2 miljardia mikä on about 2/3 osaa koko pelipuolen koosta. Konesalipuoli kasvaisi nopeammin, mutta paketointikapasiteetti on rajallinen mistä seuraten myynti on tuotantorajotteinen.
Harrastelijat on harrastelijoita. Isot jutut tapahtuu isoissa firmoissa. Hyvän AI hepun palkka miljoona+ piilaaksossa. Maksaako devaajan kone 5k$ tai 20k$ ihan yhdentekevää(tosin konesalia oikeasti käytetään). Meta siitä kiva, että tarjoaa open source porukalle malleja. Toki mallit kuten llama on kehitelty konesaliraudalla ei 4090:lla.
Ei se näin pelaajan näkökulmasta kiinnostakaan näkyykö se Nvidian tuloksessa, mutta se näkyy pelaajien lompakoissa, kun AI-kotiharrastelijat ja varmasti myös yritysten työasemat hamstraavat näitä kuluttajakortteja.
Kuten koitin aiemmin jo sanoa, niin itse ainakin toivoisin että nämä harrastelijatkin saataisiin jotenkin puskettua tuonne Quadrojen pariin, niin ehkä voisi olla pieni toivo, että pelikorttien hintoja saataisiin takaisin ruotuun.
4090 kun on "liian hyvä" hintaansa nähden näihin AI-hommiin, niin markkinoilla on epäideaali tilanne, missä 1½ vuotta vanhan kortin hinta on vain noussut eikä laskenut. Ei ihmetytä, jos trendi jatkuu Blackwellin kanssa.
Pointtihan on se, että tuskin niitä hamstrataan ihan älyttömästi AI:hin, kun numeroista näkyy että ada piirien myynti vähenee. Jos ada ts. pelipiirit myis ai-käyttöön pitäisi sen näkyä pelipiirien myynnin lisääntymisenä. Piireistä ei ole pulaa tuotantopuolella. Se mikä rajoittaa konesalipiirejä on paketointi. Tuo paketointi liittyy ainakin nvidian tapauksessa hbm-muisteihin ja ei siten sekään ole pois pelipiirien tekemisestä.
Tilapäisesti todennäköisesti 4090:et loppui kiina rajotteiden vuoksi. Kiinalaiset ostivat kaikki piirit mitkä kerkesivät ennen rajotteiden voimaantuloa. Piiirin tekeminen tuotteeksi ja siitä kaupanhyllylle kestänee ainakin 4kk++. Jos nyt on pulaa ja painetaan nappia tee lisää niin lopputulos ei näy ns. heti hyllysaldossa.
En kyllä keksi mistä ne Stable Diffusionista kiinnostuneet perusjantterit, jotka haluaa järkevän hintaisen kortin sammakkomeemejä varten pieraisee nuo vaaditut Quadro-tonnit leipänsä päälle sen paremmin kuin pelaajatkaan.
Realistisempi toive olisi, että AMD ja Intel saisivat otettua ryhtiä touhuunsa ja seuraavan sukupolven julkkariin mennssä niiden raudalla olisi Windows taviksen yhtä helppo generoida anime waifuja kuin Nvidia raudallakin. Useampi varteenotettava vaihtoehto markkinoilla, terve kilpailu jne.
Voin olla väärässä, mutta kuvittelisin, että Ada pohjaiset L40 ja L4 konesalikortit lasketaan datacenter segmenttiin. Jos noin niin Adan menekkiä ei voi kovin luotettavasti arvioida gaming segmentin myyntilukemista.
Kuka ostaa l40/l4? Onko isoja diilejä jossain julkistettu? Meta&co puhuu hopperista. Meta esim 350000 hopperia ostanut/ostaa tälle vuodelle. Meta yksinään 10miljardia latonut nvidian taskuun. Eivät puhu mitään ada pohjaisista. Hopperista myydään eioota, kun ei paketointikapasiteetti riitä. Ada pohjaisten diileistä ei näy missään isoja lööppejä.
microsoft, amazon, tesla jne. Kaikki puhuu miljardien hopper diileistä. Adaa ei mainittu missään.
Ylläolevan ymmärtää, kun ei ada taivu isojen kielimallien opettamiseen. Ada enemmän inferenssikortti. Inferenssi ei vielä iso juttu, iso juttu opetuspuolella tällä hetkellä.
AMD:n pitäisi tosiaan änkeä jollain clamshell konfiguraatiolla paljon muistia johonkin korttiin ja katsoa, että kävisikö se kaupaksi, vaikkei se HBM-monstereille tietty pärjäisikään.
Hämärtyy skaala, jos katsoo vain noita triljoonien dollareiden arvoisia yrityksiä (no Tesla ~600 miljardia), jotka voi pistää rahaa palamaan parhaaseen mitä on saatavilla ja sen raudan on sitten tarkoitus tahkota lisää rahaa.
Kyllä noita L40 mm. data-/pilvikeskuksiin menee, josta sitten kuka tahansa voi vuokrata virtuaalikoneen (kuten GPU Instance Pricing) tai pienempiin yrityksiin, jotka pyörittävät omia konesaleja.
Toki hämärtyy. Yritin vain tuoda esiin sitä, että 4090:en on ihan pisara meressä. Ei johdu konesaleista 4090:en huono saatavuus. Jos menis paljon 4090:sta jonnekin niin sen pitäis näkyä pelipuolen tuloksessa. Veikkaan ennemmin, että meni kiinaan ja kestää aikansa valmistaa uusia tuotteita. Tähän päälle pian tuleva 5090 niin paljonko edes kannattaa enää tehdä 4090:ia,… se mitä nyt jää myymättä 4090:ia purkautuu 5090:en ostamiseen.
noi l40/… kans pisara meressä versus hopper.
esimerkkinä chatgpt tason botin opettamiseen käytetään 10000+ hopperia. Noiden isojen kielimallien tunkkaaminen on mistä meta, openai, google jne. kisaavat. Zuckerberg eilen sanoi, että 10x enempi vaatii laskentatehoa nextgen mallit. 100000+ hopperia tai ehkä joku 20k-40k blackwellia?
En tiedä, mutta mun ei tarvitse todistaa että niitä on myyty vaan sun tarvitsee todistaa, että niitä ei ole myyty jos haluat sanoa, että Adan myyntilukemat voi päätellä pelisegmentin liikevaihtoa tarkastelemalla.
Kuka ties, ehkä AMD katsoo, että tekoälyn open source yhteisössä on isosti potentiaalia ja haluavat aggressiivisesti kosiskella sitä devaamaan heidän raudalleen laittamalla markkinoille näyttiksen 48 Gt muistilla johonkin alle tonnin hintaan. Voittoja ei olisi tarkoitus nyhtää merkittävästi itse tuotteella vaan pyrkiä saamaan jalka kunnolla oven väliin nopeasti kasvavalle alalle ja niittää tuotot sitten pidemmällä aikavälillä. /hopium
4090 myynnit löytyvät peli segmentistä. Voidaan päätellä jotain miten paljon peli gputa on ostettu katsomalla kvartaalituloksia. Peligpu myynnille ennustettiin laskua q4:lle minkä tulos saadaan reilun 2vk päästä. AMD ennusti peli gpu puolelle double digit laskua koko vuodelle 2024.
2023 aikana esimerkiksi microsoft ja meta ostivat isosti hopperia. Kun laskee julkisesti tiedetyt hopper diilit yhteen ei jää paljoa tilaa adalle konesalissa kun katsoo miten paljon nvidian konesali teki liikevaihtoa. Julkisesti tiedetään allaolevien 18 miljardin lisäksi isommista amazon ja google hopper diileistä + monia pienempiä diilejä miljardiluokassa(konesali startuppeja, tesla,…). Jotain adaa varmasti menee konesaliin, mutta pisara meressä versus hopper.
Nvidia’s biggest customers are also the AI chip maker’s biggest threat
qz.com
.
Toinen anekdootti on saatavuus. Hopperissa 6kk-12kk jonot riipuen tuotteesta. Ada rtx 6000 kortteja saat kaupasta käteen viikon toimitusajalla. Toinen myy isosti eioota, toinen ei. Nvidian konesalibisnes on täysin paketointirajotteinen(hopperin hbm muistit). Tuota paketointia ei tarvita ada-piirien kanssa.
Nvidia reportedly selects Intel Foundry Services for GPU packaging production — could produce over 300,000 H100 GPUs per month
http://www.tomshardware.com
Dellin kommentit
Dell bemoans 39-week lead time for Nvidia-powered servers
http://www.theregister.com
No alle tonnilla ei ole mitään 48GB kortteja luvassa – mutta kun halvin nvidia tuon kokoisilla muisteilla maksaa luokkaa 4000€ tai enemmän, niin on siellä aukko mihin voisi sovittaa korttia.
Nyt harrastelijat ostavat 4000€ Apple-läppäreitä, kun se on halvin tapa saada 64GB näyttömuistia.
Lähinnä mietin, että AMD:ltä huhuttu tälle tai ensivuodelle 16 ytimistä 40CU:n jättimäistä APU-piiriä, tuo olisi 20% enemmän näyttisytimiä kuin RX 7600 näyttiksessä. Tuollehan saisi emolevylle ainakin 128Gb muistia helposti/halvalla ja 256Gb myös ihan kauppojen hyllystä löytyvillä kammoilla, jos siis tulisi työpöydälle. Toki muistikaistaa ei niin hirveästi ole, varsinkaan kun nuo korkeamman kapasiteetin muistit tuppaavat olemaan vähän hitaampia kuin pelikoneisiin suunnatut 16 gigan kammat
No juu, vähän kieltä oli poskessa tuossa.
Jos RDNA 4 ja Battlemage eivät laskentateholtaan ole kummoisia (vaikkapa AD103, Navi31 tasoisia) niin kovin korkealle ei voi hintaa nostaakaan. Molemmilla firmoilla tosin on Pro GPU sarjat, joten ehkäpä 48 Gt muistiset päätyy sinne jos mihinkään.
On balanssi tekoälyjuttuihin vähän viturallaan tuossa APU:ssa. Ison mallin sinne muistiin saa kyllä survottua, mutta generointi sitten hidasta kun kielimallit kaipaavat muistikaistaa. ~100 Gt/s on auttamattoman vähän. Stable Diffusionin kohdalla en tiedä miten tuo kaista rajoittaisi, mutta toisaalta se ei kaipaa muistikapasiteettia kovinkaan ahneesti.
3060:n 360 Gt/s riittäisi jo selvästi pidemmälle, jos sen muistiin saisi mahtumaan esim. Mixtral 8x7B:n 6-bittisen (käytännössä häviöttömän) kvantin niin generoisi tekstiä varmaankin nopeammin kuin ihminen lukee. Verrokiksi 3090:n muistiin mahtuu Mixtralista vain n. 3,5-bittinen, jo selvästi häviöllinen kvantti ja se generoi ~70 tokenia/s, eli kymmenisen kertaa nopeammin kuin ihminen lukee. Mixtral on vähän ääritapaus siinä kuinka paljon vaatii muistia vs kuinka kevyttä generointi on.
(Sorry OT:sta)