Supercomputer met tweeduizend Itanium 2's in actie

In de Verenigde Staten is deze week een van de krachtigste supercomputers ooit opgestart. Er zijn maar vier clusters te vinden die sneller zijn. Het cluster bevat tweeduizend Itanium 2 processors en is bedoeld voor wetenschappelijk onderzoek. Complexe berekeningen op het gebied van de biologie of chemie zullen met een rekenkracht van 11,8 teraflops sneller uitgevoerd kunnen worden. Hierbij kun je bijvoorbeeld denken aan klimatologisch onderzoek. Het cluster dat is opgebouwd uit HP Integrity-servers draait op Linux en is te vinden in het laboratorium van het 'Department of Energy'. Tot nu toe is er nog geen groter systeem gebouwd dat draait op de 64-bit technologie van Intel:

The PNNL system is the world’s fastest supercomputer based on the Linux operating system and is the largest machine ever built using Intel’s 64-bit architecture.

PNNL’s supercomputer draws its speed and computing power from nearly 2,000 next-generation Intel® Itanium®-2 processors code-named “Madison,” running on industry-standard HP Integrity servers. Linking the Intel Itanium2 chips is a Quadrics interconnect that provides communication between processors and allows scientists to sustain a high performance level. HP is providing services to customers that help manage, deploy and enhance the power and ability of supercomputing.

Reacties (84)

[Anoniem: 51196]

Dit is wel netjes, hoewel er een flink prijskaartje aan zal hangen.

Ik denk dat het toch belangrijk is om ook te onderzoeken hoe de 64-bits processors zich gedragen in clusters, want ik ben best wel nieuwschierig wat voor prestatieverschil is in een cluster tussen 2000 32-bits processors en 2000 64-bits processors bij 32-bits en 64-bits applicaties.

[Munters]

Clustering is niet anders voor 32 of 64 bits machines. Je kunt hooguit kijken of de architectuur deze proc beter in clusters kan werken.

Oke, oke, 64 bits machines zullen waarschijnlijk efficienter in clusters van meer dan 2^32 machines kunnen werken....

[Anoniem: 74500]

Voor clusters levert 64bit een groot voordeel, omdat er veel meer geheugen geadresseerd kan worden. Er kan dus meer RAM per processor gebruikt worden, waardoor de prestaties van iedere CPU natuurlijk in de hoogte gaan.
Bij zware berekeningen wordt nl. heel wat RAM gebruikt, en indien er onvoldoende geheugen aanwezig is bij een bepaalde processor gaat die processor RAM gebruiken die bij een andere processor ligt. Dit proces vertraagt natuurlijk de berekening. Bij 64bit-processoren kan meer RAM geplaatst worden, zodat dit proces minder plaatsvindt, en de totale berekening versnelt.

[Liam]

Ik denk dat het toch belangrijk is om ook te onderzoeken hoe de 64-bits processors zich gedragen in clusters, want ik ben best wel nieuwschierig wat voor prestatieverschil is in een cluster tussen 2000 32-bits processors en 2000 64-bits processors bij 32-bits en 64-bits applicaties.

64bits procs voor in zulke bakken bestaat allang voor de intel.
Wat te denken van de Alpha64 en de Power-serie van IBM? Of de HP procjes?
Vroeger was een Alpha altijd al erg snel, ik heb wel eens op internet een vergelijking gevonden tussen een alpha 500mhz en een Athlon 800 ofzo. De alpha won het hoofdzakelijk. Mits ze de goede compiler gebruikte. Ik denk dus ook dat het afhankelijk is van welke compiler er wordt gebruikt en hoe goed geoptimaliseerd die controller is voor je cluster voordat je kan gaan proberen te vergelijken tussen 32 bits (veel verder ontwikkeld) en 64 bits (itanium kinderschoenen compiler.).

[hardwareaddict]

Voor allerlei zaken zoals RNG's praat je over factor 2 ongeveer van 32 naar 64 bits. Dat vreet echter meestal niet de meeste systeemtijd.

Echter de grootste winst wordt geboekt door de toename in het aantal registers, daar de x86's er maar 8 hebben, wat echt totaal verouderd is. Zelfs voor normale huis, tuin en keukenwerk. Gedacht wordt daarbij aan de enorme speedup die spellen gaan krijgen door de stap van 32 naar 64 bits. Een aantal spelmakers van grote bedrijven hebben daar prachtige artikelen over geschreven t.a.v. hun 3d engines.

Zo is de opteron een enorme winnaar natuurlijk voor de toekomstige clusters die gebouwd gaan worden.

De itanium2-madison is goed te vergelijken met de laagst geclockte opteron qua prestaties op dit moment.

Ten tijde van het geven van de opdracht tot het bouwen van die machines waren er geen opterons nog beschikbaar publiekelijk, dus wisten de herennog niet hoe goed deze cpu zou worden (met name dat hij zo hoog geclockt zou worden).

De itanium2 is dan een logische keuze voor supercomputers. Want het levert zowel in floating point als in integers een geweldige prestatie wegens het uitvoeren effectief van 6 instructies per clock.

Dat heeft ook nadelen. Bijvoorbeeld de gros van de programmeurs die software op die systemen draaien, die kunnen totaal niet programmeren.

Dan is zo'n itanium processor een blok aan het been.

Echter de vergelijking met enige 32 bits processor gaat totaal mank.

Zo heeft de K7 processor geen SSE2 en heeft de P4 maar 1 execution unit voor SSE2.

Dan heeft de P4 nog allerlei andere beperkingen. De MP versie is maar geclockt op 2.8Ghz wat bitter weinig is, gezien de enorme penalties die de cpu overal oploopt. Dan een superkleine L1 cache van maar 8 KB die ook nog 64 bits referenties heeft, dus maar 1024 words.

Dit dus tegen de Itanium2 die er 6 instructies per clock doorheen kan pompen.

Een 1.3Ghz itanium2 haalt al 5.2 gflops voor floating point berekeningen.

De P4 haalt daar een lachwekkend aantal en daar komt bij dat je dan voor die complexe software dan maar het lachwekkende aantal van 8 registers hebt, waarvan vaak 2 nog gebruikt worden ter indexatie ook en vaak nog meer registers wegvallen. 128 rename registers maken dat niet veel beter.

Dus voor elke complexe vorm van rekenwerk is een 64 bits processor met VEEL registers zeer aantrekkelijk.

Het is duidelijk dus dat dit soort clusters die ideaal zijn voor met name het doorrekenen van bijvoorbeeld
kernexplosies. Of om gflop intensief rekenwerk, zoals het berekenen van waar electronen in een stof zitten (he alweer zo'n kern achtig iets) mbv bergen matrix berekeningen die allemaal 64 bits floating point zijn.

Het gaat ook niet lang duren voor niemand meer 32 bits processors heeft. Intel is allang hard bezig met een goedkope 64 bits x86-64 processor (dus compatible met instructieset die opteron gebruikt, omdat die royaltie vrij is).

De itanium is in dat opzicht geflopt. Intel beweerde eerst deze ook goedkoop te willen gaan dumpen, maar heeft dat nog steeds niet waargemaakt. 1.5Ghz madisons zijn niet bepaald goedkoop en presteren alleen voor heftige PGO software goed (of floating point software zelfs geniaal).

Verder zou intel natuurlijk de strijd met opteron direct verliezen als ze de P4 eruit knikkeren en met alleen itaniums verder gaan, omdat de opteron hoger geclockt is als de itanium en dit ook altijd zal blijven.
Dus 1 van de belangrijkste redenen waarom de P4 zo goed verkoopt t.o.v. AMD producten is dezelfde reden waarom de itanium al bij voorbaat flopt voor het grote publiek.

Dat neemt niet weg ze de x86-64 intel versie vast wel hoog weten te clocken. Sommige hardware experts gokken dat deze in 2005 op de markt komt. Dat zijn niet mijn woorden let wel.

MVG

[Ruuddie]

Wat ik mezelf meer afvraag, is of de software wel optimaal de 64-bits architectuur benut.
Da's tot nu toe bij bijna geen enkele software het geval namelijk...

[MrMr]

Ik weet toevallig wat ze bij pnl draaien.
Daar zit al tien jaar geen regel 32-bits code meer tussen.
Je moet niet denken dat 64-bits iets nieuws is voor dit
soort rekenwerk...

[Anoniem: 4632]

Da's tot nu toe bij bijna geen enkele software het geval namelijk...

Pardon ? Onder welke steen kom jij vandaan ?

Weet je hoelang 64 bits systemen al bestaan. Denk aan Sun Sparc of MIPS.

[Johnny]

Ik heb al sinds 1997 een 64 bits computer op mijn slaapkamer.

Een Nintendo 64

[ginamri]

Het cluster bevat tweeduizend Itanium 2 processors en is bedoeld voor wetenschappelijk onderzoek

Wat een leeg statement, nee de gebruiker wilde gewoon een een snellere computer dan de buurman.


Waarom ze Itanium 2 processoren is voor mij niet duidelijk, te eerste gebruiken ze ~ 100W per stuk en ten tweede konden ze niet toppen aan de optron. (Correct me if i'm wrong) Ook google vind AMD interesanter, een van hun grootste kostenposten is de energie rekening. De enigste rede dat ze voor de Itanium gekozen hebben zou naar mijn inzicht problemen met levering vanuit AMD zijn.

[Beaves]

Waarom ze Itanium 2 processoren is voor mij niet duidelijk, te eerste gebruiken ze ~ 100W per stuk en ten tweede konden ze niet toppen aan de optron. (Correct me if i'm wrong)

De Itanium zit in een hele andere markt dan de Opteron. Waar de Opteron een rustige overstap naar 64-bit mogelijk maakt gebruikt de Itanium een compleet andere architectuur, namelijk EPIC. Daardoor kan je de Itanium en Opteron niet zomaar met elkaar vergelijken.

Bij EPIC geeft de compiler aan in welke volgorde de CPU instructies moet uitvoeren. Bij x86-64 wordt de volgorde door de CPU zelf bepaald, o.a. door branch-prediction.

Daarnaast kan de Itanium erg veel processen parallel aan elkaar uit voeren, wat vooral bij databases en berekeningen zoals het Department of Energy gaat uitvoeren mooi uitkomt.

Dit alles zorgt ervoor dat de Itanium superieure FPU performance levert, iets wat erg van pas komt bij de berekeningen die op de computer gedraaid gaan worden.

Misschien zijn deze benchmarkt interessant, ze geven mooi aan dat een 4-way Itanium en een 4-way Opteron erlkaar weinig ontlopen in de TPC-C benchmark en de keus dus vooral van andere dingen afhangt dan performance.

Zo heeft Google niet voor de Itanium gekozen omdat ze te veel verbruiken en heeft het Department of Energy er wel voor gekozen omdat de FPU performance zo goed is.

[Anoniem: 18155]

De Itanium zit in een hele andere markt dan de Opteron.

Dat is onzin, welke andere markt ? Overal waar Itanium ingezet wordt kan een Opteron ook ingezet worden. Itanium zit in een andere prijsklasse bedoel je.

Waar de Opteron een rustige overstap naar 64-bit mogelijk maakt gebruikt de Itanium een compleet andere architectuur, namelijk EPIC. Daardoor kan je de Itanium en Opteron niet zomaar met elkaar vergelijken

Opzich maakt architectuur niet uit, het gaat uiteindelijk om de resultaat. Als het nou RISC, EPIC of x86 is doet er niet toe. Alle processoren doen nl het zelde. De een gebruikt gewoon een andere techniek dan de ander. Dus je kan gewoon vergelijken.

Misschien zijn deze benchmarkt interessant, ze geven mooi aan dat een 4-way Itanium en een 4-way Opteron erlkaar weinig ontlopen in de TPC-C benchmark en de keus dus vooral van andere dingen afhangt dan performance.

Zie je wel, dus je kan ze wel degelijk met elkaar vergelijken, (en je spreekt je zelf tegen ) en zoals ik al zei, het gaat om de performance en alles wat een Itanium kan kan de Opteron ook, hetzij wat langzamer in FPU. Maar uiteindelijk betaal je een stuk minder voor Opteron.

Zo heeft Google niet voor de Itanium gekozen omdat ze te veel verbruiken en heeft het Department of Energy er wel voor gekozen omdat de FPU performance zo goed is.

En ook is Itanium niet erg geschikt voor database servers, maar meer voor zware workstations die veel gebruik maken van de FPU.

[C00P]

Vergelijken kan dus wel, hoeveel teraflops zou de opteron halen met evenveel processors, en hoeveel als ze in dezelfde prijsklasse zouden zitten, iemand een ide ?

[Anoniem: 18155]

http://www.tweakers.net/nieuws/28072

Als je dat stukje leest dan weet je iig dat 2000 Opteron's nagenoeg even snel zijn als 2000 Itanium 2's. Ik citeer een stukje:

In China werd laatst ook een Opteron-supercomputer tentoongesteld. Deze machine had tweeduizend processors aan boord en kwam tot 10.000 GFLOPS.

En qua prijs, tja, wat denk je, 2000 Opterons zullen een stuk goedkoper zijn dan 2000 Itanium 2's. Dus reken maar uit je som.

[SirBlade]

Ik denk niet dat toen ze begonnen dit ding te ontwerpen, AMD de opteron al helemaal af had.

[Anoniem: 86857]

De enigste rede dat ze voor de Itanium gekozen hebben zou naar mijn inzicht problemen met levering vanuit AMD zijn.

Zeg dat nou nog een luister eens goed naar je zelf:

"Het enige reden dat gekozen is voor Intel en niet voor AMD is de levering van het gigantische aantal van maar liefst 2000 (tweeduizend!!!) CPUs."

2000 procs lijkt me niet echt een probleem schat. Dan maar een weekje geen opterons bij de Funprice.

[Daro]

Mss even wat meer info over de server:

http://www.hp.com/products1/servers/integrity/

http://www.hp.com/products1/servers/integrity/integrity_server_family. pdf

[Sorcerer8472]

Zouden ze al een SCO-license hebben? *)

(© V2)

[Anoniem: 90915]

zijn flops te vergelijken met herzen, en zoja, hoeveel gigaflops is een gigaherz

[Anoniem: 29047]

Nee, die zijn eigenlijk niet te vergelijken.

De hoeveelheid flops is deels het "resultaat" van het aantal Herz.

Als (poging tot) voorbeeld met auto's:

Flops = KM/h
Herz = Toerental van de motor.

Dan is het nog afhankelijk van de "efficientie". Met grotere banden ga je sneller dan kleinere banden bij hetzelfde toerental.

Dit is eigenlijk weer de zgn. IPC van de processor, oftewel "hoeveel berekeningen per klokcyclus" kunnen er gedaan worden.

Hoop dat dit een beetje een idee geeft

[Anoniem: 86857]

Nee niet te vergelijken. Voor thuis pctjes is mhz wel een redelijke standaard, omdat het over een multipurpose computer gaat.
Flops zijn bedoeld voor die toepassingen waarbij men voornamelijk belang heeft bij de hoeveelheid floating point operations.

Feitelijk is flops dus een veel betere maat als je computers vergelijkt voor het spelen van spellen. weet je nog dat de IBM/cyrix zo slecht was in spellen vergeleken met de Intels? Precies. De flops van de IBM/cyrix was veel lager dan de intel's

[Bever]

Complexe berekeningen op het gebied van de biologie of chemie zullen met een rekenkracht van 11,8 teraflops sneller uitgevoerd kunnen worden.

Wat zijn teraflops? Nooit van gehoord.

[CubicQ]

Tera is een voorzetsel, en betekent 10^12 (miljoen keer miljoen), flops staat voor Floating Point Operations Per Second.

Dit monster kan dus 11800000000000 berekeningen met niet-hele getallen per seconde doen.

[mister X630]

tera staat voor miljard (1000 miljoen)

flops staat voor floatpoint operations per second.

[Munters]

*Bzzz*, tera staat voor biljoen.
(giga -> miljard; mega -> miljoen; kilo -> duizend)

[rtfm]

Nu we toch bezig zijn:

kilo = 1000
mega = 1000 * 1000
giga = 1000 * 1000 * 1000
tera = etc......
peta
exa
zetta
yotta

[peterroelen]

ik denk dat je 1000 miljard bedoelt.
mega = 1 miljoen
giga = 1 miljard = 1000 miljoen
tera = 1000 miljard = 1 miljoen miljoen

[ErrieR]

mega- giga- teraflops
floating-point operations per second

edit: te laat

[Roland684]

Hoeveel processoren heeft t.net gedoneerd? De bron spreekt van "bijna 2000" en t.net meld "2000" processoren.

Het is trouwens met 500Watt per processor niet de meest zuinige supercomputer. Deze slupt in zijn eentje (of is het met z'n 2000-en) één megawatt aan energie.

[Dappa]

gelukkig hoef ik die rekening niet te betalen

[Anoniem: 85287]

Het is trouwens met 500Watt per processor niet de meest zuinige supercomputer. Deze slupt in zijn eentje (of is het met z'n 2000-en) één megawatt aan energie.

Nu weten we dus waar die stroomstoringen in de US of A ècht door veroorzaakt werden.

[caspergt]

hmm tuurlijk, 500 watt per processor !!!! ????
Volgens mij bedoel je 100 ofzo

[Anoniem: 82253]

Ik vind dat ze op dat monster eens een keer een benchmark moeten laten draaien

[Anoniem: 58326]

Ik vind dat ze op dat monster eens een keer een benchmark moeten laten draaien

Of een

Ik heb ze al gemaild dat ons team best bereid is om even een client bij ze te installeren.

[Anoniem: 91251]

Waterkoeling voor deze 2000 proc?
Allemaal slangetje en een grote pomp!

[MisterData]

Ik denk dat deze computer zo ongeveer op de stadsverwarming aangesloten kan worden

[Anoniem: 82046]

Nou wil ik niet doemdenken, maar ik uit redelijk betrouwbare bron gehoord dat dit kreng dus o.a. nucleaire aanvallen gaat simuleren. Moet ik me hierbij een soort Skynet achtige toekomst inbeelden?
Hoop het niet.

[SirBlade]

Skynet hield zich niet bezig met simulaties, die ging voor het echte werk ;-)

[zomertje]

Ach, dat is al een stuk beter dan een bom op een mooi eiland gooien.....

[ATS]

draws its speed and computing power from nearly 2,000 next-generation Intel® Itanium®-2 processors

Wat een enorme marketing crap praat zeg... "next-generation" processoren? Ze bestaan dus nog niet?

[Roland684]

Mij is ook nog niet duidelijk hoe je een "next-generation processor" in een "industry-standard server" kunt hebben.