Suomeen rakennetaan uusi supertietokone. CSC – Tieteen tietotekniikan keskuksen Kajaanin datakeskukseen rakennettava supertietokone tullaan tuntemaan nimellä LUMI (Large Unified Modern Infrastructure) ja se on osa EU:n EuroHPC-projektia.
LUMI perustuu Hewlett Packard Enterprisen HPE Cray EX -supertietokoneeseen, jossa hyödynnetään AMD:n 64-ytimisiä Zen 3 -arkkitehtuuriin perustuvia Milan Epyc -prosessoreita sekä seuraavan sukupolven Instinct -laskentakortteja. Supertietokone tulee tarjoamaan yli 550 petaFLOPSin teoreettisen maksimisuorituskyvyn, josta suurin osa tuotetaan laskentakorteilla.
LUMIn rakentamisessa on otettu huomioon myös ympäristötekijöitä ja sen käyttöön on allokoitu maksimissaan 200 megawattia vesivoimaa. Lisäksi supertietokoneen hukkalämmöllä on tarkoitus kattaa 20 % koko Renforsin Rannan yritysalueen lämmityksestä ja pienentää samalla Kajaanin hiilijalanjälkeä.
Supertietokoneen budjetti on 144,5 miljoonaa euroa ja koko LUMI-projektin yli 200 miljoonaa euroa, josta puolet kattaa EU ja toisen puolen EuroHPC Joint Undertaking -projektiin kuuluvat maat. Suomen osuus rahoituksesta on noin 50 miljoonaa euroa. EuroHPC-projektiin kuuluu myös kaksi muuta lippulaivaluokan supertietokonetta, joista toinen sijoitetaan Espanjaan ja toinen Italiaan.
Lähteet: EuroHPC JU, LUMI, Tivi, HPE
Eikun lisää tollasi Lappi täyteen! Menee lämpö hyötykäyttöön ja jäähdytyskukut pysyy kurissa.
Kajaani on kuitenkin vielä aika etelässä 🙂
Mutta ihan vakavasti otettuna hienoa että näitä saadaan Suomeen ja Suomi, Ruotsi, Norja ovat monestakin syystä järkeviä sijoituspaikkoja tälläisillä laskentajirmuille ja palvelinsaleille!
Mutta hieno homma että tämä saatiin Suomeen. Varmasti paljon kerrannaisvaikutuksia tällä projektilla yliopistoille ym.
Ja eikös tämä olisi nykymittapuulla maailman tehokkain, ei pelkästään Euroopan tehokkain?
Joo mutta maailmalla on ainakin tarkoitus saada tehokkaampaa käyttöön ennen kuin tää on käytössä.
Lähellä. Hyvä jos valmistuttuaan hetkeksi ehtii TOP-5 kerhoon.
Keväällä kehuivat tähtäävänsä TOP-1:een käytettävyydessä kun hyvin tietävät etteivät rauta-luokassa voita.
Juu, korjataan, mitä lie päässä liikkunut kun menivät sekaisin.
UPM:n entinen Kajaanin tehdas-alue siis kyseessä, nykyään "Renforsin ranta yritysalue". Ja 20% lämmityksestä pitäisi kattaa tuolla, mikä mennee helposti yhdessä rakennuksessa.
katso liitettä 466493
Käytännössä jokaisessa uudessa datakeskuksessa hyödynnetään hukkalämpö jotenkin. Ei ole mitenkään uusi tai harvinainen asia. Tapoja on erilaisia, yksinkertaisimmillaan serverihuoneissa on lämpönielu jonka kautta kuuma ilma viedään varsinaiseen prosessiin. Kun tästä ilmasta on sit viety energia pois, tulee se takaisin kylmänä jäähdyttävänä ilmana.
Jokin mahtaa olla numeroissa pielessä. Allokoitu tehontarve on artikkelin mukaan 200MW ja sillä voidaan kattaa 20% pienen alueen lämmitystarpeesta. Tämän tiedon mukaan talteenoton hyötysuhde on melko mitätön, tai sitten rakennukset ovat puuliitereitä.
Allokoitu ei liene tarkoita, että todellinen tehontarve olisi tuo maksimit 200 MW. Tom’s Hardware on laskeskellut, että todellinen tehontarve olisi n. 8,5 MW, mikä kuulostaa varsin järkevältä.
Pitäiskö olla megawattituntia? Jos ei koko aikaa pösötä täysillä.
Kolmasosa ydinvomalan tuotannosta yhteen datakeskukseen olisi jo aika hapokas.
data-unfurl="true" data-result-id="97602" data-url="https://www.csc.fi/lumi" data-host="www.csc.fi" data-pending="false">
class="link link--external fauxBlockLink-blockLink"
target="_blank"
rel="nofollow noopener"
data-proxy-href="">
LUMI supertietokone – CSC Company Site
http://www.csc.fi
Tuolla olikin ilmaistu eri tavoin kuin muualla, eli hukkalämmöllä on tarkoitus kattaa 20 % koko Kajaanin alueen kaukolämmöstä
Niin ei kai saa sanoa julkisesti, ettei Intel suutu ja haasta oikeuteen..
Jaa-a, noin 8,5 megawatista (ei MWh:sta) puhuu tämä lähde: HPE, AMD and EuroHPC Partner for Massive LUMI Supercomputer. Oiskohan piikkiteho täydellä kapasiteetilla.
Tai sitten se on vain teoreettinen luku minkä verran voitaisiin imeä uusiutuvaa sähköä, vaikkei supertietokone tai edes koko keskus veisi kuin murto-osan.
Alle 10MW sanoin CSCn toimitusjohtaja Kimmo Koski julikaisuvideolla noin 18:30 kohdalla. Se 200MW on sen vanhan paperitehtaan käyttöön rakennettu kapasiteetti.
Cinebenchissä voisi tulla mielenkiintoisia lukemia.
data-unfurl="true" data-result-id="83428" data-url="https://www.energiatalous.fi/?p=1841" data-host="www.energiatalous.fi" data-pending="false">
class="link link--external fauxBlockLink-blockLink"
target="_blank"
rel="nofollow noopener"
data-proxy-href="">
Mäntsälässä näytetään mallia hukkalämmön hyödyntämisessä – Kestävä Energiatalous – Uusiutuvien tulevaisuus
http://www.energiatalous.fi
katso liitettä 467486
Esimerkiksi tässä on CP2K ohjelman testejä ja niiden tuloksia super koneilla.
Phoronix on käytänyt Fayalite-FIST testiä CPU-testeissään ja siitä on olemassa tietokanta. En itse suosittele tätä, koska kyseisen testin data mahtuu välimuistiin esim. zen2 prossuilla, minkä takia ne saavat huomattavasti parempia tuloksia kuin muut.
Oma suositus on H2O-64 testi. Eli 64n vesimolekyylin molekyyli dynamiikka tiheysfunktionaali teorialla.
Ubuntulla kyseisen testin voi ajaa komennoilla
Omalla koneella (R9 3900X) saan seuraavat tulokset
Eli oma koneeni on suunnilleen yhtä nopea kuin Piz Daint (Intel Haswell) käyttäen 32-ydintä. Hyvänä huomiona on myös, että SMT käytännössä vain hidasti laskua. Mikä oli odotettavissa ja yleensä SMT unohdetaan ihan kokonaan tieteellisessä laskennassa.
Tuo kyseinen H2O-64 testi ei vielä hyödy GPU laskennasta, koska se on aika pieni lasku ja osa laskusta ei sovellu GPUlle.
CP2K:n kehitystä johdetaan Zûrichistä (Jürg Hutterin ryhmä) ja sitää tulee yksi merkittävimmistä LUMI:lla ajettavista ohjelmista. Joten tulevaisuudessa löytyy varmasti testejä, joilla voi verrata oman koneen suorituskykyä LUMI:in.
Lämpöpumpun se vaatii.
Kesäkuu 2020:
Lokakuu 2020:
LUMI ennuste: 552 petaflops. 145M€
Mahdissa on 0 GPU:ta laskentaan.
**** **** ****** ** PROGRAM ENDED AT 2020-10-24 21:48:32.962
***** ** *** *** ** PROGRAM RAN ON XXXstem-Product-Name
** **** ****** PROGRAM RAN BY xxx
***** ** ** ** ** PROGRAM PROCESS ID 10449
**** ** ******* ** PROGRAM STOPPED IN /home/xxx
Eli lämpöpumppujen avulla voidaan hyödyntää matalalämpöistä vettä. Etelä-suomessakin isoja projekteja suunnitteilla.
Kaikki on mennyt hyvin. Mutta se laskentaaika on siellä ylempänä. Sitä varten tarvitset komennon
hakeaksesi siihen kuluneen ajan.
Minulla grep tulostaa tämän
Josta otat CP2K riviltä TOTAL TIME.
”Loiste Lämpö Oy harjoittaa kaukolämpötoimintaa Kajaanin kaupungin alueella. Yhtiöllä on noin 1 600 asiakasta. Noin 70 % kajaanilaisista asuu kaukolämmitetyissä taloissa. Viimeisien vuosien keskimääräinen kaukolämmön myynti on ollut noin 280 GWh.”
Kajaanissa on asukkaita suunnilleen 37000, siitä 70 % on noin 26000, ja tästä 20 % on noin 5000. Näin laskettuna tuon 5000 asukkaan kaukolämpö saadaan datakeskuksen hukkalämmöstä. En tiedä, onko mukana myös saman paikan vanhempien superkoneiden hukkalämmöt.
Jos homma lasketaan lämmöntuotannon arvolla:
280 000 MWh/vuosi * noin 54 €/MWh(alv 0%) * 20 % = 3 000 000 €/vuosi alv 0 %
Tämä laskenta antaa jonkinlaista käsitystä hukkaenergian myynnin suuruusluokasta, eli on tällä talteenotolla taloudellista merkitystäkin – ainakin siihen verrattuna, että hukkalämpö menisi harakoille.
Megawattitunti ei ole tehon vaan energian yksikkö.
Yleensä se on (mega)wattituntia / vuosi. Tietenkin tarkasti ottaen voi olla jotain muutakin. Se kyllä jää vähän ujoksi jos huipputeho on se aiemmin mainittu 8,5 MW.
550 PFlops vaikuttaa toki paljolta mutta "ihan tavalliset", kaupasta ostettavissa olevat (
) hupi-GPUt pystyvät 30-35 TFlops laskentakykyyn ainakin nimellisesti:
List of Nvidia graphics processing units – Wikipedia
RTX 3080: 29.76 TFlops
RTX 3090: 35.68 TFlops
LUMIn laskentateho vastaa siis 15-20000 grafiikkakorttia à ~1 k€. Kasa GPU:ita ei tietenkään ole supertietokone, vaan olennainen osa superkonetta on infra, jolla data saadaan siirtymään prosessoreille ja niiden välillä.
Ehkä yllättävää on lähinnä se, kuinka paljon raakaa laskentatehoa pelikoneista löytyy nykyään.
Niin no, ihan samoja grafiikkapiirejähän ne ovat (olleet). Erilliset laskentapiirit on ihan tuore kehityssuunta, AMD:n tulevissa Instincteissä on heidän ensimmäinen dedikoitu laskentapiiri eikä NVIDIAllakaan ole kuin muutama (vähän laskentatavasta riippuen 1-4 tms)
Se on 550 peta dual foating point operations / second (PDFLOPS). Suurin osa kuluttaja puolen välineistä aika vaatimat tuolla puolella, esim 3090 on vain 550 GDFLOPS, eli tartvittaisiin oikeasti miljoona niitä. Mutta tämä ei ole se tärkeä ominaisuus superkoneissa. Se oikeasti tärkeä ominaisuus on kommunikaatio laskentasolmujen välillä, minkä ansiosta voidaan tehdä laskuja joita muilla laitteilla ei pysty tekemään.
Esimerkiksi tuossa ylempänä postaamassani testissä. Oma koneeni on yhtä nopea, kuin Piz Daint 32-ytimellä, mikä voisi kuullostaa hyvältä. Mutta Piz Daint pystyy silti laskemaan saman laskun viisi kertaa omaa konettani nopeammin käyttäen 192 ydintä. Tällä on merkittävä ero todellisuudessa. Jos tuosta laskusta haluaisi oikeita tuloksia, sitä pitäisi ajaa superkoneella viikon verran. Omalla koneella samaan hommaan menisi reilu kuukausi. Eli oma koneeni on selvästi huonompi kuin ikäloppu superkone.
Tuolloin olisi varmaan katsottu kieroon, jos joku olisi tuolloin sanonut, että 20v päästä on tavallisen pöytäkoneen kokoinen tietokone, jossa saman verran laskentatehoa ja hinta murto-osan tuosta summasta. Ja tuotu tämän päivän prosessori, että näin pieni piiri pystyy samaan.
Vähän OT:ta
Kyllä ne silloin jo tiesi. Oltiin joskus 70-luvun lopulla OPO-tunnilla IBM:n talossa ja siellä kerrottiin että jos autot olisivat kehittyneet samaa vauhtia kuin tietokoneet niin kuplafolkkari olisi nyt tulitikkulaatikon kokoinen ja kulkisi äänen nopeudellä tjsp. Samalla esittelivät meille niitä kahvalla varustettuja irroitettavia muistiyksikköjä – sellaisia curling-kiven näköisiä mötiköitä joissa oli kai ihan satoja megabittejä kapasiteeettia.
Mikä ihmeen "DFLOPS"? Tarkoitatko nyt kaksoistarkkuutta eli Double Precisionia? Ei sitä erikseen lyhennettä mitenkään DFLOPSiksi tms, vaan ihan FLOPSeja nekin on, jossain kohtaa pitää vain muistaa mainita että kyse on FP64-tarkkuudesta.
Siinä olet kyllä oikeassa että kotikoneissa FP64-suorituskykyä ei hirvittävästi ole, mallista riippuu sitten johtuuko se sirusta vai siitä että on rampautettu kuluttajatuote.
Siitä on ennen käytetty lyhennettä DFLOPS. Nykyään tosin FP64 FLOPS taitaa olla se käytetty. Tämä muutos taisi tulla tekoälyjuttujen mukana, kun on kaikki FP16 BF16 jne. Jolloin on vain helpointa sanoa FP16 FLOPS tai FP64 FLOPS kuin mitään muuta.
En kyllä ikinä muista nähneeni termiä "DFLOPS", eikä se kyllä äskeisen Google-kierroksen perusteella hirvittävän yleiseltä vaikuttanut vaikka muutamia viitteitä juuri tuossa tarkoituksessa löytyikin. GPU-laskentakorteissa on puhuttu FP64:stä ja Double Precisionista niin kauan kuin sitä on tuettu eli AMD:n osalta 2007 ja NVIDIAn 2008
Se menee ihan viime vuosituhannelle… Joten on varmasti parempi käyttää termiä FP64 FLOPS.
Näinpä tuo näyttää olevan. Tai jos pilkkua vähän viilaa, niin Linpackin speksissä näyttää lukevan *paras tarkkuus* eli jos Geforce ei tukisi kaksoistarkkuutta lainkaan niin sitten kai laskettaisiin FP32-tarkkuudella. Kun se pystyy DP-laskentaan, vaikkakin aneemisella teholla (vaivainen puoli biljoonaa laskua sekunnissa…
), niin sitten lasketaan sillä.
Paljonko LUMI sitten laskee FP32-tarkkuudella? Moneen sekin on riittävä tarkkuus.
Totta, tästä mainitsinkin. GPU-pohjasta aiheutuu sitten omat rajoituksensa ongelmille, joita koneella pystyy tehokkaasti ratkaisemaan. Ongelmat täytyy pystyä muotoilemaan äärimmäisen hyvin, lähes identtisesti rinnakkaistuviksi.
Esim. nykyisessä Mahti-koneessa on vielä paljon tavallisia, yleiskäyttöisiä ytimiä: "Total 1404 nodes equipped with powerful AMD Rome CPUs … Each node has 128 cores running at 2.6 GHz, with 256 GiB of memory"
data-unfurl="true" data-result-id="99707" data-url="https://research.csc.fi/-/mahti" data-host="research.csc.fi" data-pending="false">
class="link link--external fauxBlockLink-blockLink"
target="_blank"
rel="nofollow noopener"
data-proxy-href="">
Mahti – Mahti – Services for Research – CSC Company Site
research.csc.fi
Ja paljon viileämpääkin kuin mitä tietokoneen jäähdytyksestä tulee. Tällaiseen käyttöön lämpöpumppu sopii erittäin hyvin.
Kommentoi uutista tai artikkelia foorumilla (Kommentointi sivuston puolella toistakseksi pois käytöstä)
Lähetä palautetta / raportoi kirjoitusvirheestä