Supercomputer van 1100 Apple G5-computers in aanbouw

Het management van Apple was zeer verbaasd toen een delegatie van de universiteit in Virginia om 1100 G5 Power Mac's kwam vragen. Met deze systemen is een cluster gebouwd dat een fractie kost van de prijs van vergelijkbare supersystemen. Voor de supercomputer worden standaard systemen gebruikt. Elke node is in het bezit van twee 64-bits 970 PowerPC processors en 4GB geheugen. OS X 10 zal als besturingssysteem gaan dienen. Het geheel is aan elkaar geknoopt in een 10GB InfiniBand netwerk en een 2GB ethernet netwerk. Er wordt pas een paar weken aan het cluster gewerkt maar men verwacht voor 1 oktober klaar te zijn. Deze datum is speciaal omdat er op die dag een benchmark test voor supercomputers over de hele wereld wordt gehouden:

Although the G5's began arriving just a few weeks ago, Varadarajan is confident he will meet the Oct. 1 deadline for the University of Tennessee's annual supercomputing benchmarking test of the world's top supercomputer sites. And, he feels sure the installation will place somewhere in the top 10 sites.

Reacties (52)

[zaphod_b]

En aangezien 1U kasten + het binnenwerk ervoor ook redelijk makkelijk te krijgen is, is dit zeker niet het goedkoopste standaard kluster.

Wel handig dat jij slimmer bent dan een universiteit die het allemaal onderzocht heeft . Misschien hebben ze een baan voor je?

En nu ontopic: erg cool dit cluster. Het verbaasd mij ook wel enigszins dat dit de goedkoopste oplossing is, maar goed zo te zien hebben ze dat dus GOED uitgezocht.

Wel leuk om te zien dat 't goed gaat met de Apple G5. Ze verkopen goed, en het marktaandeel van Apple in de VS is de laatste maanden flink gestegen (voornamelijk door de nieuwe Powerbooks). Enige concurrentie voor Wintel is natuurlijk alleen maar gezond.

[justice strike]

heeft niets met slimmer te maken, meestal bekijken ze niet alle opties even goed, hebben de mensen die dit uitzoeken voorkeur voor iets (en bij voorbaat al oogkleppen aan) en speelt politiek een grote rol.


een gewone clusternode met 2 gig en 2 g4's is al 5,473.00 dan rekeken we nog niet eens met g5 infiniband etc... daar zou je best een behoorlijk opteron systeempje van kunnen bouwen hoor. of sparc zelfs. Vooral de rackmounts van apple zijn niet zo goedkoop te krijgen omdat daar geen concurrentie is

[botoo]

Iedereen die meewerkt aan de bouw van de cluster krijgt een T-shirt met als opschrift:

My other computer is a 1100 node G5 cluster

edits:
T-shirt

(tijdelijke?) clusterpic op Spymac

mirror met meer pics

[Verwijderd]

piclink: http://don.cc.vt.edu/tshirt/

[Verwijderd]

waarom er voor dual G5 nodes gekozen is en niet voor opterons/sparcs/itanium wordt duidelijk uit de notes die tijdens de presentatie van de terascale computer gemaakt zijn:

http://www.chaosmint.com/mac/vt-supercomputer/

Slide Five

Architectural Options [or something like that]

Dell - too expensive [one of the reasons for the project being so "hush hush" was that dell was exploring pricing options during bidding]

Sun (sparc) - required too many processors, also too expensive

IBM/AMD (opteron) - required twice the number of processors and was twice the price in the desired configuration; had no chassis available

HP (itanium) - ditto

Apple (IBM PPC970) - system available with chassis for lowest price

[voodooless]

Apple heeft dus gewoon een goeie deal voor ze gemaakt, anders zouden ze nooit de goedkoopste zijn geweest.

en:

OS X 10 zal als besturingssysteem gaan dienen

De X staat al voor 10 dus die mag je weglaten.

[Verwijderd]

Apple heeft dus gewoon een goeie deal voor ze gemaakt, anders zouden ze nooit de goedkoopste zijn geweest.

ik heb dit even uitgezocht. voor dit soort clusters zijn floating point berekeningen belangrijk. de power pc 970 processor kan twee keer zo veel floating point berekeningen per seconde doen (FLOPS) als de opteron.

de power pc 970 kan per cycle doen :
2 fused multiply adds (double precision). voor 2 Ghz komt dit overeen met 4x2 = 8 GFLOPS. de altivec unit kan 4 parallelle single precision operaties uitvoeren gelijktijdig met 2 fused multiply adds in de regulier floating point units. het totaal aantal GFLOPS is dan : (4 + 4) x 2 = 16 GFLOPS. toegegeven voor supercomputing wil je double precision dus 8 GFLOPS is de meer relevante score hier.

de opteron kan maximaal 1 multiply en add double precision doen per cycle. een opteron op 2Ghz komt dan op 2x2 = 4GFLOPS. zie hier voor info over dit onderwerp bij de opteron :
http://www.amd.com/us-en/assets/content_type/DownloadableAssets/Optimi zation_-_Tim_Wilkens.pdf

hier zie je dus de reden dat die universiteit zegt twee keer zoveel opterons dan power pc 970's nodig te hebben voor dezelfde performance. de GFLOPS van de opteron is de helft van de power pc 970. en GFLOPS zijn belangrijk voor wetenschappelijke berekeningen.

en ik denk dat 1 powermac dual g5 goedkoper is als 2 dual opteron systemen

edit:

ja deze reaktie heb ik elders ook gedaan maar die is niet zichtbaar omdat de parent naar 0 gemod is. dus als je vind dat je deze met 'dubbelpost' kan downmodden heb je gelijk volgens het systeem van tweakers maar ik heb liever dat je deze post gewoon op 1 laat staan zodat iedereen dit kan lezen want ik heb er best veel uitzoekwerk in gestoken -bierbuik.

[thettes]

niet helemaal, want je hebt ook OS X 10.1 en 10.2

Die worden geen OS X.1 of X.2 genoemd

Daarom is OS X 10 de normale schrijfwijze geworden, ook al noem je geen specifieke versie (ik vermoed dat dit toch wel 10.2 wordt).

[Cyberdude47]

Waarschijnlijk zelfs 10.2.7 omdat dit voorlopig de enige versie is die goed met de G5 werkt.

10.2.8 zal waarschijnlijk ook niet met de G5 werken. Pas met 10.3 (Jaguar) wordt het verschil tussen de G4 en G5 rechtgetrokken (1 OS versie voor beide CPU's).

[gp500]

zou toch denken dat je met shutle barebone's en opteron's lekker veel goedkoper uit zou zijn.
kunnen d'r 6 waar 3 g5's zitten.

[Jasper Janssen]

En hoe wou je een Shuttle Barebone met Opteron kopen? In aantocht zijn ze wel, maar in volumeproduktie duurt nog wel ff. De Opterons komen nu eigenlijk pas een beetje van de grond kwa beschikbaarheid van processors en moederborden, terwijl deze systemen al fully up and running zijn.

[Boss]

Misschien wel goedkoop, maar energie en ruimte besparend is het in ieder geval niet. In een standaard 42U rek kan je volgens mij wel 40x een 1U server met 2 processoren kwijt (nog 2U voor de netwerk/management/wat dan ook). Dan heb je voor 110 procs 'slechts' 1100 / 80 = 14 rekken nodig.

Bij die G5 gaan er aan het plaatje te zien 9 kasten met 2 procs in een rek: 18 procs / rek. In totaal dus 1100 / 18 = 62 rekken. Dat is ruim 4x zoveel ruimte nodig, 4x zoveel rekken (ook niet echt goedkoop) en 4x zoveel koel apparatuur (aangezien ze per rek worden gekoeld).

En aangezien 1U kasten + het binnenwerk ervoor ook redelijk makkelijk te krijgen is, is dit zeker niet het goedkoopste standaard kluster. (tot slot staat Apple al niet bekend om de goedkope computers, als je in het wat hogere segment gaat kijken).

[Royale de Luxe]

indeed een standaard rack met Blades had volgens mij ook wel goed gegaan,

maar het knelpunt id dat Intel/AMD systemen in 1U units meer kosten dan apple in hun housing's.

lees maar de bovenstaande quote van Bierbuik maar.

[dnf]

Lijkt mij eerder dat Apple een order van 1100 computers maar niet graag verloor en het boeltje tegen kostprijs heeft aangeboden. Bekijk het als een investering in een goede marketing-zet.

Wie weet wat ze er nogal bovenop hebben gegeven om de deal te kunnen sluiten.

Want zeg nu zelf: die bakken nemen te veel plaats in, zijn voor de modale pet duurder en halen het algemeen performance-niveau van een intel box niet. (lees verder alvorens te vlammen) Bovendien heeft apple weinig ervaring met zo'n clusters. Dat hebben bv. IBM en Sun wel.

Uiteraard kan men geopteerd hebben voor een naakte levering, dus zonder support van de leverancier, een DIY dus. En uiteraard kan het zijn dat voor het rekenwerk dat dient gedaan te worden, de PPC970 er beter uitkomt dan een intel of een sparc box.

Allemaal gissingen uiteraard, maar geef toe: dit ruikt naar iets.

[Verwijderd]

ik heb dit even uitgezocht. voor dit soort clusters zijn floating point berekeningen belangrijk. de power pc 970 processor kan twee keer zo veel floating point berekeningen per seconde doen (FLOPS) als de opteron.

de power pc 970 kan per cycle doen :
2 fused multiply adds (double precision). voor 2 Ghz komt dit overeen met 4x2 = 8 GFLOPS. de altivec unit kan 4 parallelle single precision operaties uitvoeren gelijktijdig met 2 fused multiply adds in de regulier floating point units. het totaal aantal GFLOPS is dan : (4 + 4) x 2 = 16 GFLOPS. toegegeven voor supercomputing wil je double precision dus 8 GFLOPS is de meer relevante score hier.

de opteron kan maximaal 1 multiply en add double precision doen per cycle. een opteron op 2Ghz komt dan op 2x2 = 4GFLOPS. zie hier voor info over dit onderwerp bij de opteron :
http://www.amd.com/us-en/assets/content_type/DownloadableAssets/Optimi zation_-_Tim_Wilkens.pdf

hier zie je dus de reden dat die universiteit zegt twee keer zoveel opterons dan power pc 970's nodig te hebben voor dezelfde performance. de GFLOPS van de opteron is de helft van de power pc 970. en GFLOPS zijn belangrijk voor wetenschappelijke berekeningen.

en ik denk dat 1 powermac dual g5 goedkoper is als 2 dual opteron systemen.

edit:
typo's

[Verwijderd]

Allemaal gissingen uiteraard, maar geef toe: dit ruikt naar iets.

Ja peecee meneer, ik denk dat je langzaam wakker wordt en de koffie begint te ruiken. welkom in de post G4 area!

De ppc970 is werkelijk een hele goede vector processing cpu.

Vergeleken bij Altivec is Intel's SSE technologie speelgoed (niet gelijk flamen even doorlezen). Ook de scalar floating point implementatie van de G5 is uitstekend: 2 fused multiply accumulates per cycle. En het mooie is dat de Altivec SIMD en floating point operaties -parallel- aan elkaar uitgevoerd kunnen worden. Dit is met Intel/Amd niet mogelijk; SSE en x87 floating point zijn mutual exclusive.

Wel is het zo dat Intel/AMD qua scalar integer berekeningen sneller zijn. Dit zul jij wel bedoelen met "het algemene performance nivo".

Verder is bandbreedte key voor een gedistribueerde rekenmachine zoals dit cluster. Bandbreedte heeft de dual G5 power Mac voldoende. Elke G5 heeft een 2x4GB/s half duplex FSB en dual channel unregistered DDR400 geheugen icm met 133 Mhz/64 bits PCI-X IO bandwidth.

Misschien moet je gewoon accepteren dat dual G5 voor dit soort scientific cluster toepassingen -echt- de beste prijs/prestatie verhouding geeft.

[jvhaarst]

Hangt een beetje af van welke applicaties er op de cluster moeten draaien.
Als die sneller draaien op een G5 dan op een x86, dan heb je dus minder machines nodig voor dezelfde snelheid.

Verder is in de US ruimte een minder groot probleem dan hier, dus dan blijft als verschil de racks en koeling over.

En die prijzen zijn laag in vergelijking met de machines.

[Verwijderd]

Elke G5 vijf heeft z'n eigen zeer geavanceerde koeling en een mooie floow door de case, dat spaart een hoop ventilator power uit die je bij de U racks wel nodig hebt...

[trogdor]

Er gaan 12 G5s in een rack, niet 9 (beetje verder kijken)
Qua prijs zal het ook een stuk beter gaan dan met 1U servertjes.
Het belangrijkste echter is natuurlijk de verwachte performance. Is daar al iets over bekend?

[witchdoc]

10 gigaBYTE en 2 gigBYTE netwerken?
Zeker dat't geen bits moeten zijn.

[dasiro]

idd, de pci-bus kan zo'n hoeveelheden gewoonweg niet aan als ik mij niet vergis was dit de bandbreedte van pci-express

[cc bcc]

In de G5 zit PCI-X, loopt op 533 MB/s

[Verwijderd]

Volgens mij zijn de vooroordelen ten opzichte van mac nog steeds net zo groot als de ruimte die al die g5's in gaan nemen... OS X is een behoorlijk unix systeem...
maar het lijkt wel alsof "echte" unix liefhebbers het maar niks vinden, hoe komt dat toch...???

de hardware blijkt toch niet zo duur....

[hardwareaddict]

Dat is dus wat niet klopt weer aan het apple verhaal. Deze cluster is NIET goedkoop.

Ter vergelijking een 2080 opteron IBM cluster (elke node is een dual opteron) die in de top 10 van de top500.org staat, die kost minder als 10 miljoen dollar en heeft van node tot node een one way pingpong latency van 5-7 us. Dat is met myrilnet netwerk kaartjes in elke node.

Deze cluster heeft dat dus duidelijk NIET. Kortom goedkopere routers en veel tragere processors.

Zelfs nog lager geclockt...

Zie je overigens hoe ik deze ibm cluster noem, net zo mislijdend als die lui de apple cluster benoemen:

2080 dual opteron.

Is die 2080 het totaal aantal processors of het aantal nodes?

Bij apple staat 't er niet bij. Dus het zal het totaal aantal processors zijn, anders schreeuwden ze 't wel van de daken.

Bij clusters is het altijd zo dat hoe meer processors per node, des te beter, omdat dan de afstand naar andere nodes gemiddeld korter wordt en de MPI overhead kleiner omdat 2 processors nu via 1 netwerk kaartje gaan wat efficienter en goedkoper is als 1 processor. Bovendien hoeft niet elke processor altijd systeemtijd te verbruiken voor de MPI library overhead.

[Verwijderd]

je vergeet dat het bij scientific computing gaat om de GFLOPS. de opteron (4 GFLOPS) kan maar de helft GFLOPS halen van de ibm power pc 970 (8 GFLOPS). zie mijn reaktie elders voor een uiteenzetting hierover.

voor dezelfde hoeveelheid GLOPS heb je dus 2 opterons nodig versus 1 ibm power pc 970. dit is de essentieele reden dat de ibm power pc 970 als goedkoopste oplossing uit de bus kwam in de evaluatie die de universiteit gemaakt heeft.

[Verwijderd]

Dit nieuws is al weer ruim een maand oud. Verhaal ging dat dit een van de redenen was waarom de G5 -2GHz machine moeilijk leverbaar zou zijn.

[h4ns]

Het zijn er 1100, geen 11000.

[Verwijderd]

link naar foto's van de bouw en meer wetenswaardigheden:

http://www.computing.vt.edu/research_computing/terascale/

[Verwijderd]

En dat verklaart dus waarom Apple hier in nederland zoveel moeite heeft met het uitleveren van G5's

Serieus, de eerste batch is uitgeleverd. Maar als je nu eentje besteld heb je een wachttijd van 2 a 3 weken!

(en ja we hebben er eentje besteld, een bedrijf waar ik voor werk dat is)

[Alpha-sphere]

Ik zag afgelopen maandag op school (Hogeschool Rotterdam) 5 van die G5's voorbij karren. Waar ze 'm voor nodig hebben mag joost weten. Wat ik wel weet is dat ze het ook aan mij mogen geven :)~

[Verwijderd]

niet zo zeuren, waar ik werk hebben we die dingen gewoon bij bosjes op voorraad, had je maar een beter bedrijf moeten uitzoeken voor de koop

[Cereal]

Om even op die 1U oplossing te reageren; Koeling zal geen verschil uitmaken, koeling van racks wordt bepaald op het aantal Watt dat per rack(m2) verbruikt word. Je kunt je voorstellen dat een rack met 1U servers heel wat meer watt per m2 verstookt dan een rack met G5's

Het argument van meer koeling gaat dus niet op.