HP mag supercomputer met 2000 Itanium-CPU's leveren

Na twee jaar wikken en wegen heeft het U.S. Department of Energy toestemming gegeven aan HP om een supercomputer te leveren aan het Pacific Northwest National Laboratory, dat onderdeel uitmaakt van dit ministerie. De supercomputer zal bijna tweeduizend 1,5GHz Itanium 2-processors van Intel bevatten en een maximumprestatie van 11,8 teraflops kunnen neerzetten. De processors kunnen met elkaar communiceren in minder dan drie microseconden; verder bevat de supercomputer 6,8 terabyte aan geheugen. De aansturing zal geschieden via het Linux-besturingssysteem. De supercomputer zal ondermeer gebruikt worden om data te analyseren omtrent zware metalen, poreuze materialen, grondwater, nanodeeltjes en moleculaire thermodynamica.

Reacties (63)

[Optix]

Prototype van deze HP supercomputer memory bandwidth is gemeten op 3.8GB/sec voor 1 single CPU en de Quadrics Elan3 interconnect bereikte 5 microseconde latency tussen nodes. De interconnect heeft een bandwidth van meer dan 320MB/sec gedemonstreerd, dat VERREKTE indrukwekkend is.
Dit wordt een monster

[Verwijderd]

Dit valt allemaal best mee toch. Zowel voor die access tijd als op die memory bandwidth zit een SGI Altix systeem op het dubbele. En NUMAlink (de SGI interconnect) zit ook "iets" hoger dan die 320. Uit een SGI support mail:

Q. What is the maximum bandwith per XIO or NUMAlink port.
A: 800GB/sec (bi-directional), NL3 is 3.2GB/sec (bi-directional)

Dus dan is 320MB best weinig idd. Nee, HP moet nog even verder oefenen voordat ze mee kunnen doen met de grote jongens denk ik zo

[Olaf van der Spek]

320 mbyte/s maar? Dat is toch niet zo veel?

[Verwijderd]

320 is best snel, ik weet niet wat standaard is op dat soort netwerken? maar dan nog is 320 snel genoeg voor een gbit verbinding als die er al is. een 100mbit is nog steeds vrij standaard.

[Verwijderd]

320 MB = 2560 Mb (dat red je dus niet met 1 Gb verbinding, je moet al trunken)

[Swaptor]

100Mbit = 12.5MB/s
1Gbit = 125MB/s (give or take a few)

320mb/s is dus 2.5Gbit, redelijk rap

[Verwijderd]

dude...

Dat is dus 320mb per seconde
100mbit lijntje is zon 12mb per seconde...
doe jij het rekenwerk maar

[multipasser]

ik vraag me alleen af waarom ze 24miljoen dollar aan zo'n computer geven. Uiteindelijk zit je 'maar' met 2000 cpu's.
Zou de manier waarop google werkt (met goedkopere pc's in cluster) niet veel meer uiteindelijke power opleveren?

Misschien kost het meer moeite om zo'n systeem aan de gang te krijgen. Maar volgens mij is het uiteindelijk stukken krachtiger. (vermits alle threads samen lopen)

Neem een dualpc van 5000euro het stuk. Dan kan je er zo ongeveer 4800 stuks neerzetten (=9600 cpu's)! Wat denken jullie?

[Verwijderd]

Nop. Je geeft het antwoord op je vraag eigenlijk zelf al: "vermits alle threads samen lopen".
Voor een toepassing zoals dat bij bv. Google het geval is, is dit inderdaad een oplossing, het gaat hier namelijk om het verwerken van heel veel threads.

Bij een 'super-computer' echter gaat het niet om het aantal threads, maar om de pure rekenkracht.

En laten we het hier bij houden. Het idee van te werken met gewone pc's is gewoon absurd.

[TrailBlazer]

waarom werken al die die dingen die ze bij DPC dan zo goed op meerdere PC's Volgens mij kan je hier mooi om heen programmeren.
Je roept dan dat het om pure rekenkracht gaat maar met een onderbouwing kom je niet. Dit is geen flame maar gewoon onbegrip.

[TD-er]

Niet alles is zo makkelijk parallel uit te voeren als het DPC-project.
Je hebt bij een hoop rekenkundige problemen vaak dat een proces staat te wachten op de uitkomst van een ander proces.
Als je dan een zwik PC's hebt die allemaal over een ethernet lijntje met elkaar communiceren, dan staan ze waarschijnlijk 90% van de tijd niets te doen.
Bij een supercomputer komt echt wel wat meer kijken dan de som van de integer-operaties per processor en de som van de geheugensnelheid per node.

[hankleppe]

Hoe hoog komt deze op de lijst der lijsten van supercomputers?

Is hier dezelfde techniek gebruikt als in: http://www.tweakers.net/nieuws/36834
Dan hebben ze gelijk een goede deal!

[Ranzy]

Niet al te hoog hoor, IBM voert de lijst aan met de onlangs verdubbelde capaciteit van hun BlueGene, deze levert nu 183,5 teraflops...

Edit/
Deze zou tussen de 15de en 19de plaats liggen, toch nog vrij hoog eigenlijk.

[kidde]

Volgens mij rond de 8e plek, als je de lijst van afgelopen november neemt, als je aanneemt dat de genoemde 11,8 Tflop/s Rmax is.

( Zie http://www.top500.org/lists/plists.php?Y=2004&M=1 )

[TD-er]

Ik vermoed echter dat deze nog niet geleverd is voordat de volgende lijst uitkomt (in mei meen ik)
Volgens de November-lijst komt de Blue-Gene van Astron, hier in Groningen op de 4e of 5e plek te staan, maar het is maar even afwachten waar hij uiteindelijk komt te staan als de lijst uitkomt.

[Verwijderd]

En het grappige is dan ook nog dat die blue gene die bovenaan staat van hetzelfde ministerie is . Zouden ze dan echt zelf de dalende stroomafname van de amerikanen moeten compenseren ofzow

[speedhaste]

Hadden ze dan niet beter voor een minder energie slurpende supercomputer gebaseerd op AMD processoren kunnen nemen, als je "Department of Energy" bent?

[Beaves]

Reken maar dat ze goed gekeken zullen hebben voordat ze bij de Itanium uitkwamen, ze zullen die echt niet gekozen hebben omdat er toevallig een "Intel inside" sticker op de server geplakt zit.

De Itanium mag dan op sommige punten tegenvallen, het blijft nog steeds een enorm snelle CPU in floating point berekeningen, sneller dan de Opteron/Xeon. Je kan de Itanium ook niet echt met die CPU's vergelijken, je moet die CPU met de Power4/5 en de PA-RISC van HP vergelijken.

En aangezien de meeste berekeningen die ze gaan doen zullen bestaan uit floating point operaties, is de Itanium een logische keus.

[Verwijderd]

Ik wou het bij mijn reactie nog bijplaatsten, maar aangezien Beaves het al gezegd heeft, moet ik het niet meer doen ;-)

[sopsop]

't is een Amerikaans Department. Die vinden dat Awesome als een apparaat veel energie slurpt, ontzettend groot is en de wegligging van een dronken bergeend heeft. Of haal ik nou twee dingen door elkaar?

[chime]

Nee, dat is de Amerikaanse filosofie "bigger is better".

Komt er ook nog eens bij dat bedrijven eerder geneigd zijn om voor Intel te kiezen in plaats van AMD.

Hoewel dit tegenwoordig toch aan het bijdraaien is. Maar minesteries en overheden zijn altijd de laatsten om zich aan te passen.

[Niles]

Dat AMD een fab heeft staan in Dresden wil nog niet zeggen dat daar AMD vandaan komt en dat die ene fab hun enige fabriek is. AMD komt van oorsprong gewoon uit Amerika hoor, net zoals Intel. Van de AMD website:

Founded in 1969 and based in Sunnyvale, California

[zion]

Reactie @ Moesjken:

Intel founded: 1968
AMD founded: 1969

Ze hebben allebei al jaren en jaren ervaring hoor...

[BTB]

Je bedoelt dat AMD uit het communistische Dresden komt?

[Verwijderd]

Ministeries en overheden zijn niet de laatste om zich aan te passen.
Ik werk voor een Belgische overheid, en ja, hier gebruiken we nog steeds Intel.
Maar om een voorbeeld te geven van dat wij (als ik het zo mag uitdrukken) niet 'de laatsten zijn om zich aan te passen' wat betreft het hardware-vlak: onze laatste nieuwe bestelde lappies: HP NW8000 met Intel Pentium M 2gig....
Oké, het is weeral van Intel zullen sommigen zeggen, maar het is wel de laatste nieuwe Centrino... Dus ik zou niet durven zeggen dat we achterblijven.

De reden waarom er bij overheden, ministeries, en heel veel grote bedrijven gekozen wordt voor het Intel-platform is heel simpel: Intel kan steunen op een jarenlange ervaring wat betreft servers. Intel is al reeds jaar en dag marktleider wat betreft servers (en zal dit ook blijven).
De technieken en technologie gebruikt bij Intel zijn door de jaren heen steeds verbeterd en verbeterd.

En ja, ik moet toegeven dat AMD veelbelovend is met hun Opteron, maar ze kunnen niet op tegen Intel.

Ervaring mensen, jarenlange ervaring, dat is hier het belangrijkste.
En wie kwaliteit en zekerheid wil, kijkt niet naar de kostprijs.
Indien dit een beperkende factor, dan zou je idd moeten overgaan op AMD.

[Verwijderd]

Wat je nou zegt is regelrecht gelul.

Zoiets van kijk als je echt kwaliteit wilt moet je voor Intel gaan.
En dat is gewoon onzin.

Vroeger was AMD misschien iets minder dan Intel.

Maar dat komt ook zeker door de chipsets die niet helemaal 100% waren.

Tegenwoordig is dat wel anders en kan je gewoon in goed vertrouwen dat je systeem stabiel is een AMD kopen.

Ik weet dan ook wel een 100% zeker dat de steekpenningen van Klene bij deze aankoop een rol gespeeld hebben.

(Of was Klene er nou niet bij betrokken en alleen de steekpenningen. )

[Verwijderd]

ik moet je gelijkgeven wat betreft chips en cpu's in het algemeen, maar ik bedoelde hier ervaring op server-gebied.
Voor de rest moet ik je gelijk geven.

reactie @ tankeriv: aan je profiel te zien bij jij blijkbaar een AMD-fanaat. Een beetje openminded graag en niet van op voorhand uitgaan van AMD is goed en Intel is slecht?

[Dark_man]

Dat slaat dus echt nergens op, ervaring op het gebied van zogenaamde server support stelt niks voor.

Wat is ervaring? een probleem oplossen is een probleem oplossen, AMD doet gewoon R&D en van daaruit komen er technologieen en daarmee ontwikkelen ze Desktop of Server CPU's.

Om een goede server CPU te designen of te onderhouden hoef je niet jarenlang ervaring te hebben, je moet het gewoon maken, de vereisten ervoor zijn gewoon voorgebakken koek.

[Dark_man]

Nee hoor.

Kwa prijs/performance veegt Opteron de vloer aan met de Itanium.

En dan moet je niet het aantal CPU's gaan vergelijken, gewoon naar de prijs.

Simpel.

[Verwijderd]

Ok, de Opteron die de vloer aanveegt met de Itanium2???
Think not.
Zie op de Top500-lijst van de super-computers (http://www.top500.org/lists/plists.php?Y=2004&M=11):

Op #5 : Intel Itanium2 1.4GHz -> 19940 GFlops (4096 cpu's)
Op #10: Intel Xeon 3.06 GHz -> 9819 GFlops (2500 CPU's)
Op #17: AMD Opteron 2.2 GHz -> 8061 GFlops (2560 cpu's)

Hier zie je dat zelfs de Xeon beter presteert, en als je het aantal Itanium2-cpu's omrekent naar het aantal van de Opterons, komt je nog aan een score van ongeveer 4400 GFlops meer...

De cijfers liegen niet zou ik zo zeggen.

En laten we voor de rest de lijst van 2005 afwachten, maar op dit moment is de Itanium2 nog steeds de aanvoerder van de lijst Intel/AMD.

En zoals eerder al gezegd, bij een dergerlijke investering is de prijs echt niet het enige criteria. Was het maar zo simpel.

[MueR]

Ik weet niet of je onlangs nog wat benchmarks heb gelezen, maar de Opterons waren daar nogal de vloer aan het aanvegen met de Xeons. Net als dat de Athlon64 en FX serie de vloer aanvegen met de Pentiums.

[Verwijderd]

We zijn hier niet aan het spreken over de Xeons...
We zijn hier bezig met Itaniums.... En die vegen de vloer aan met de Xeons en Opterons samen....
Gelieve geen appelen met peren te vergelijken.

Een paar voorbeelden hiervan:

AMD64 <--> P4 = 64bit <--> 32bit
Opteron/Xeon <--> Itanium2 = server/workstation-omgeving <--> puur server-omgeving

[Verwijderd]

Vandaar !.... belastingsaangiftes te laat, afrekeningen te laat, doktersbriefjes te laat, ondernemingsloketten een jaartje later open dan voorzien, achterstand bij 't gerecht, en misschine ook een goed excuus voor 't "onverwijld" splitsen van BHV ;-)

[Smht]

--sorry foutje--
AMD is niet American Micro Devices maar Advanced Micro Devices...kzou toch zweren dat het vroeger anders heette.

[brada]

AMD heeft gewoon geen CPU's die ook maar in de buurt van de snelheid van ede Itanium's komen dus lijkt mij dit toch de beste keus.

[Dark_man]

Als ik voor de prijs van 1 Itanium 4 Opteron's kan kopen dan komt ie WEL in de buurt en hij crusht de Itanium dan zelfs.

Waarom altijd 1 op 1 vergelijken?

Het gaat toch om de totale prijs?

Of ga jij 1 Itanium kopen voor 2000 Euro, omdat die sneller is dan een Opteron 2.6Ghz voor 500 euro of zo?

Zie je daar de logica niet van in of zo?

[Verwijderd]

4 opterons lijken me iets meer stroom te vreten(kweeni zeker.. lijkt me iig). verder heb je meer complicaties qua moederborden etc. en maintenance. Maar het klopt wel dat het een afweging is.. maar ik denk niet dat er hier zo verkeerd is gekozen...

[coller]

Is het gebruik van Linux(Beowolf?) handig voor zo'n geval?

Zijn er geen snellere, of heeft het te maken met licienties misschien?

[kidde]

Volgens mij gebruikt men gewoon Linux met SMP kernel.
Van wikipedia.org:

This gives the fastest single SMP system the position of twenty nine on the list of the world's Top 500 Supercomputers, a 504 processor Cray X1 at the Oak Ridge National Laboratory

[erikdenv]

Er staat nergens dat het een cluster betreft volgens mij.

[Metal Baron]

Ik vraag me toch af wat nou precies het voordeel is van deze computer boven bijvoorbeeld system X van Virginia Tech, het welbekende G5 cluster. Levert ruim 12 Teraflops voor een fractie van de prijs. Qua stroomverbruik lijken de Itaniums me nou ook niet direct de beste koop.

[Verwijderd]

Ga eens onderaan die pagina kijken. Daar staat bij OS: MacOS X Server...
Hiermee is een antwoord gegeven op je vraag.

[frickY]

Hoopte eigenlijkdat het een order van DPC betrof

Maar waarom dan "maar" 1,5Ghz CPUtjes?

[Eric Oud Ammerveld]

CPU snelheid is niet alles.

Cache geheugen speelt bijvoorbeeld ook mee. (Zeer snel geheugen dat, als het Layer 1 is op de CPU zelf geplaatst is, veelal werkt op de snelheid van de CPU)

Dit wordt gebruikt om herhaalde instructies sneller af te handelen en je kan het zien als een soort buffer geheugen.

Daarnaast speelt een instructieset mee en het type processor (CISC / RISC).
Zie http://cse.stanford.edu/class/sophomore-college/projects-00/risc/riscc isc/ voor meer info hier over

Het instructieset bepaald veelal op welke manier een CPU een bepaalde bewerking afhandeld.
Hoe geavanceerder, hoe sneller / praktischer een berekening kan worden afgehandeld.

[Verwijderd]

Maar, die itanium zijn retesnel op "maar" 1,5GHz

De floating Point berekeningen doet ie vooral erg snel!

[kidde]

Maar waarom dan "maar" 1,5Ghz C

Vermoedelijk vanwege de temperatuur, des te sneller, des te meer stroom er weglekt, dus des te meer hitte er ontstaat. Een aardige vraag is dus ook hoe dit ding gekoeld wordt?

Belangrijker nog waarschijnlijk is de prijs.
Een CPU met twee keer hogere kloksnelheid is meer dan twee keer zo duur, maw, kloksnelheid en prijs zijn niet lineair, dus moet je een afweging maken.

[Verwijderd]

Waar kun je een itanium op 3Ghz kopen?????
Hoewel het klopt dat kloksnelheid en prijs niet lineair zijn is het verschil tussen duur en heel duur bij itaniums niet zozeer de kloksnelheid maar meer de hoeveelheid cache.

[kidde]

Een berekening zoals laboratoria die doen valt denk ik WEL in veel threads te splitsen, maar dat is lastiger programmeren. Er zijn namelijk allemaal subsystemen te isoleren die onafhankelijk doorgerekend zouden kunnen worden. Dit vereist echter weer een hoop extra geheugen.

Met gewone PC's kan je namelijk OOK als het op pure rekenkracht aankomt heel wat bereiken op wiskundig wetenschappelijk gebied, zo bewijst de Great Internet Mersenne Prime Search. 18 GFlops per seconde op normale AMDtjes en nog een stel Intel 1-4's is namelijk sneller dan deze supercomputer!
(zie mersenne.org)

[Verwijderd]

Vaak wel. Heel vaak ook niet.
Als jij het haalbaar vind om een niet lineair tijdreeksmodel met zo'n 100-200 parameters te paralelliseren wens ik je veel succes.

Niet alles is zo simpel als het bepalen of een groot getal wel of geen priemgetal is. Er bestaan bijvoorbeeld verschillende theoretische optimalisatiemodellen die in de praktijk onbruikbaar zijn wegens een chronisch gebrek aan computerkracht.

[Zupp]

Even een domme vraag, wie kan me even uitleggen wat teraflops zijn en wat het doet?

[daft_dutch]

een FLOP is Floating Point Operations Per Second
terra is 10^12

dus 10^12 floatingpoint berekeningen per seconde

eigenlijk een benchmark
maar in de rekenwereld wordt (bijna) alleen maar met floating point gerekend. dus verheven tot een standaard voor snelheid.

[Sakete]

ga maar ff googelen, dan weet je het antwoord gauw genoeg.

[TheCapK]

Vraagje: Klopt het nou dat voor echte computerrekenkracht Microsoft niets te bieden heeft en dat er dus op een systeem wordt gedraaid wat door iedereen en niemand is geprogrammeerd???

/Sarcastische modus aan) Dit lijkt mij dan een totaal gemiste kans van Redmond. Hadden ze nog meer kans op de totale wereldheerschappij waar ze zo graag naar verlangen! (Of heb ik nou te veel naar films als Robocop en Aliens gekeken?) /sarcastische modus uit!)

[Verwijderd]

Dit lijkt mij dan een totaal gemiste kans van Redmond.

Deze scientific markt voor super computers pastte voorheen ook helemaal niet in het business model van Microsoft. Dat was namelijk volledig gericht op produkten via hype en populariteit verkopen, afhankelijkheden creeeren; Mensen kochten (of gebruikten) geen Windows omdat ze het mooi vonden, maar omdat Jantje en Pietje het hadden.

De scientific wereld is anders. Hype speelt niet of nauwelijks een rol en ze kijken daar per geval naar wat ze willen hebben. De VU kiest niet voor Sparc alleen maar omdat de UVA die ook heeft staan, zeker niet als het voor een hele andere toepassing is. Software wordt per probleem apart ontwikkeld en veel libraries die gebruikt worden zijn pure C code. Nu kan C ook erg platform afhankelijk zijn, maar bij scientific code is dat meestal niet zo. Er hoeft dus niet voor een systeem gekozen te worden omdat de huidige software of randapparatuur daar mee moet werken.

Je zit dus met 3 gevallen:

* Geen "jantje heeft het, dus ik ook" effect.
* Minder legacy software/hardware ondersteuning nodig.
* Beschikbaarheid van veel games / software pakketten niet belangrijk.

En nog een 4de (beetje uitlokking )
* Minder domme gebruikers.

Deze 3 punten zijn exact de redenen waarom MS zo groot geworden is. Als het puur op kwaliteit had gegaan hadden ze al in een heel vroeg stadium moeten afhaken.

Tegenwoordig (laatste +- 6 jaar), levert MS ook gewoon produkten die wel van goede kwaliteit zijn (ze hebben ook de inkomsten ernaar om veel te investeren in R&D). Hoewel de 3 punten nog steeds een belangrijke reden zijn om voor MS te kiezen, verschuift dat wel langzaam.

Mischien dat sommige het betwijfelen, maar het zou best kunnen gebeuren dat als MS de huidige development lijn doorzet, er inderdaad wel eens voor een MS oplossing gekozen zal gaan worden voor een supercomputer/cluster omdat ze de beste aanbieding hebben. Dit is voorlopig nog toekomst muziek. Zoals gezegd kan MS dit alleen bereiken door echt kwaliteit te gaan bieden. Dit is een 180 turn van de eerdere strategie.