Supercomputer Stella officieel in gebruik genomen

Vanmiddag heeft minister Maria van der Hoeven van onderwijs, cultuur en wetenschap officieel de snelste supercomputer van Europa in gebruik genomen. De computer is geplaatst in het rekencentrum van de Rijksuniversiteit Groningen en gebaseerd op de BlueGene/L supercomputer van IBM. De computer, Stella gedoopt, zal gebruikt worden om de gegevens van het LOFAR-sensornetwerk te verwerken. Dit netwerk zal gaan bestaan uit ongeveer 25.000 sensoren die verdeeld zijn over een gebied met een diameter van circa 350km. Zolang dit netwerk nog niet volledig operationeel is zal de computer voor andere wetenschappelijke taken, zoals het draaien van simulaties, ingezet worden.

De computer heeft momenteel een snelheid van 27,4 Teraflops en is daarmee de snelste computer van Europa. Wereldwijd gezien komt Stella, wat staat voor “Supercomputer Technology for Linked Lofar Applications” op de vierde plaats. De rekenkracht wordt verzorgd door 12.000 processors en om alle sensorgegevens te ontvangen is een glasvezelverbinding aanwezig met een capaciteit van 800 Gigabit per seconde. De gegevens worden aangevoerd vanuit het onderzoeksveld in het Drentse Exloo via speciale, door KPN aangelegde, glasvezelkabels met een extra lage demping.

De supercomputer zal voor verschillende doeleinden gebruikt worden. De computer en het LOFAR-netwerk zijn ontworpen om astronomie mee te bedrijven. Met behulp van 25.000 sensoren wordt de gevoeligste radiotelescoop ter wereld gevormd waarmee dertien miljard lichtjaren ver gekeken kan worden. Niet alleen kan de telescoop verder kijken, dankzij de software kan er ook in meerdere richtingen tegelijkertijd gekeken worden.

Hoewel LOFAR oorspronkelijk bedoeld is voor de astronomie zijn er ondertussen ook andere projecten gestart die goed gebruik kunnen maken van de LOFAR-infrastructuur. LOFAR zal onder andere gebruikt worden voor de precisielandbouw. Door het gedetailleerd meten van factoren zoals het weer en de vochtbalans kan uitgerekend worden hoeveel gif er gespoten moet worden. Een ander toepassingsgebied is de geofysica waar men geïnteresseerd is in het gedetailleerd in kaart brengen van de ondergrond. Men verwacht dat het LOFAR-netwerk met Stella aan het hoofd in de toekomst nog meer toepassingen zal krijgen.

Reacties (95)

[Fingerprint88]

Dit netwerk zal gaan bestaan uit ongeveer 25.000 sensoren die verdeeld zijn over een gebied met een diameter van circa 350km. Zolang dit netwerk nog niet volledig operationeel is zal de computer voor andere wetenschappelijke taken, zoals het draaien van simulaties, ingezet worden.

Lekker dan. Niet dat ik tegen het uitvoeren van wetenschappelijke taken ben, maar dit zouden ze toch wel wat beter uitgedacht kunnen hebben. Zo'n supercomputer koop je niet elke dag, dan zou je toch verwachten dat er goed over na gedacht wordt. Zoveel tijd kan het toch niet kosten 25.000 sensoren neer te zetten?

[Verwijderd]

sensoren zei je?

http://www.lofar.nl/photos/news/060405sensor.jpg
http://www.lofar.nl/photos/testsite060405A.jpg
http://www.lofar.nl/photos/testsite060405B.jpg
http://www.lofar.nl/photos/testsite060405C.jpg
http://www.lofar.nl/photos/testsite060405D.jpg

dat zijn ze dus. en volgens mij kosten ze idd nogal wat geld

[twabi2]

De sensoren zelf zijn die grote ijzeren antennes, dat bakje verzamelt gewoon de gegevens om ze dan naar Stella te sturen.

Dit zijn trouwens de antenne's (ze zouden een hoge zen-kracht hebben )
http://www.murzim.be/gallery/album22/IMG_2712
(foto van onze uitstap van vorig weekend)

[Verwijderd]

Lofar moet allemaal onwikkeld worden etc. Dus daarom kost het allemaal zoveel tijd, ik kan me een ander bericht nog wel herinneren: http://www.tweakers.net/nieuws/29381
En zie ook de website van Lofar. Zo zie je maar weer hoe lang dit duurt.

En het is ook niet zo raar dat dit ding eerder aangeschaft werd, want er zijn altijd wel dingen die er gebruik van kunnen maken. Vooral op een Universiteit.

[hardwareaddict]

Nah,

dat valt wel mee.

Deze machines zijn geniaal voor kernexplosies, factoriseren etc.

Wel is het een prima deal geweest. Een 12288 processor machine voor 8 miljoen euro.

Vergelijk de magere 416 processor machine van SARA die 50% duurder was en 2.2 tflop haalt (in theorie alleen).

[TD-er]

Vergeet niet dat het voor zowel IBM als de RuG niet verkeerd is wanneer ze een machine hebben staan die in de top-5 van de top500 staat. Als je die bak een jaar later zou aanschaffen eindig je veel lager in de top500.
Daarnaast is het wat makkelijker om je programma te ontwikkelen wanneer je de uiteindelijke doelmachine tot je beschikking hebt.

[praseodymium]

Misschien kunnen ze tot die tijd Folding@Home voor Team Firefox (www.spreadthefox.net) runnen?

[M-ThijZ]

Wat voor software draait zo'n supercomputer nu eigenlijk dan? Unix? Een Linux distro a la debian / slackware? Of een eigen Linux implementatie (LFS)? Of nog heel wat anders?

[terabyte]

Van deze weet ik het niet, maar de supercomputer van Sara gebruikt een SGI Unix en een speciaal aangepaste Linux kernel.

Over distro's kun je eigenlijk niet spreken, omdat zo'n supercomputer niet meer dan een heleboel CPU's met geheugen is. Dus: kernel, libc en fortran/C compilers en daarmee heb je het belangrijkste al wel gehad.

[kidde]

Deze draait Linux.

Dat las ik in het technisch weekblad, maar is op internet haas niet terug te vinden.
Edit: O ja, hier was een zeldzame bron die Linux noemde.

[Lennie]

IBM's BlueGene gebruikt niet alleen Linux ook een SoC (System on Chip):

http://linuxdevices.com/articles/AT7249538153.html

[Ram6]

Hè, wat lastig...

Computers are also required to compensate for distortions of radio signals caused by Earth's ionosphere. A byproduct of this correction process is a three-dimensional model of the ionosphere above the telescope.

[AlexanderOnline]

We mogen best even trots zijn hoor
Hoeveel stroom trekt hij wel niet? (Kabeltje vanuit Borselle gelegd? )

[pyotr]

36KW als ik me de praat aan de koffietafel goed herinner. Er is in ieder geval een extra koel unit geplaatst om de temperatuur in de rekenhal binnen de perken te houden.

[Verwijderd]

36kW voor 12000 high end processoren ?
Zelfs met de spreekwoordelijke Nederlandse zuinigheid
lijkt 3W per processor toch een beetje onwaarschijnlijk

[pyotr]

Yup, praat aan de koffietafel blijkt niet al te betrouwbaar

Ik heb het even nagevraagd; een paar weken geleden is gemeten, dat was 90 KW totaal. Maar bij echte belasting zal dit waarschijnlijk nogal hoger worden, tot zo'n 120 KW.

[TD-er]

@Pyotr:
Vergeet de koeling niet, die trekt minstens net zoveel, dus een totaal van zo'n 250 kWatt.
Die 120 kWatt klopt wel ongeveer.

[robgrootendorst]

Dat zou ongeveer €25,000 aan kosten voor electriciteit per jaar zijn. Valt best wel mee als je het vergelijkt met de kosten voor afschrijving van de machine!

[hardwareaddict]

Veel minder,

als je vreselijk veel stroom afneemt, dan wordt stroom in Nederland ongeveer factor 20 goedkoper.

In welke categorie Dwingeloo zit weet ik niet.

(p.s. het is 650 kilowatt waar je vanuit moet gaan)

[BrammeS]

De computer staat niet in dwingelo maar op de gn-ix op het zernike complex in Groningen.

edit == hele domme fout eruit.

[Gyske]

Even snel rekensommetje:
Grote broer van Stella(Blue Gene/L) verbruikt 1,5 MW met 65.000 processors.

Dus: (12.000 / 65.000) * 1.500
Komt neer op ongeveer 275 KW.
Aangenomen dat beide systemen vergelijkbaar zijn.

[hardwareaddict]

Stella verbruikt 650 kilowatt.

opmerking: processors vreten weinig. Netwerk is wat telt.

bij supercomputers is het enige wat telt het netwerk meestal.

[Puppetmaster]

nee, dankje!
maar we hebben de Eemscentrale

[n4m3l355]

maakt deze ook geen deel uit van het Cern netwerk?

[kidde]

Volgens mij nog niet, want noch LOFAR, nog RUG of Groningen staan genoemd in deelnemers aan internet2, en deelnemers aan het CERN netwerk moeten op internet2 zitten (om mee te rekenen aan het Higgsdeeltje in 2007). Het zal wel bij de supercomputer van SARA in Adam blijven, denk ik.

[VisionMaster]

Argh ... Nee, waar heb je die wijsheid vandaan? Er is geen CERN netwerk, althans er zijn dedicated fibers via Geant naar CERN toe en die zich daar verspreiden over de rest van Academisch europa (over een tijdje voor via IP Premium trouwens).
Er worden veel Internet2 toepassingen gebruikt, zoals hun lambda (point-to-point fiber voor jou eigen toepassing) onderzoeken. Dit wordt zeker gebruikt.

Maar als jij met de LHC experimenten wilt meerekenen voor CERN, dan zal je je moeten wenden tot 's werelds grootste Grid productie omgeving, genaamd LCG-2 (een korte tijd terug zijn we de Amerikanen voor bij gegaan in de aantallen sites die mee doen).

Wil jij een site worden, dan heb je een Internet verbinding nodig. Het is alleen handig om dat niet met je ADSL verbinding te doen, als een invoer filetje in de tientallen gigabytes loopt (en een gigabyte applicatie software en calibratie gegevens).

Ow en rondleidingen zijn bespreekbaar voor een selecte groep....

ps: onbegrijpelijke acronymen of woorden/namen zijn via Google te vinden

[VisionMaster]

Nope, totaal niet, al zou dat wel erg cool zijn.

[tupolev141]

Mijn thuis is waar mijn Stella staat

[gp500]

Vind de naam stella ook wel mooi.

Maar had toch liever stella11

[plofkip]

en om alle sensorgegevens te ontvangen is een glasvezelverbinding aanwezig met een capaciteit van 800 Gigabit per seconde.

Binnenkort in "Probleem Wijken": Bewoners van Groningen tappen internet verbinding af"

[telefoontoestel]

Is het in de toekomst niet mogelijk om alle supercomputers aan elkaar te koppelen om hiermee een nog sterkere computer te creeëren? Kun je nog leuke dingen mee doen lijkt me.

[terabyte]

Je doelt op Grid Computing?
Dat kan al, maar als je taken parallel op meerdere clusters *tegelijk* wilt uitvoeren, dan moeten het wel embarrassingly parallel taken zijn. Normaal gesproken wordt een job naar EEN vrije cluster gestuurd en niet naar meerdere tegelijk.

[VisionMaster]

Hier wordt wel onderzoek naar gedaan :-)
Eigenlijk kan het wel, maar je moet dan zo moeilijk doen! Je zou dan met een Global File System de cluster moeten hebben gekoppeld en er moet een pittige low-latency verbinding tussen de clusters zijn.

Tricky stuff. Er is een idee om Jabber te gebruiken als protocol tussen de cluster en dus hierin de MPI babbeltjes in door te spelen
Waar je MSN-afgeleiden al niet goed voor kunnen zijn

Verder is er een Grid project genaamd DEISA bezig om supercomputers met elkaar te koppelen en hiermee dus opdrachten met elkaar te delen. Dat gaat redelijk goed tussen IBM clusters, maar SARA bijv. draait een machine die mee doet en dat is een SGi met andere hardware en een ander OS.
Dat is dus een flinke uitdaging en is in volle gang.

[hardwareaddict]

Het koppelen van supercomputers over internet is totaal nutteloos.

De reden waarom deze 12288 tezamen een supercomputer vormen in Dwingeloo (niet in Groningen staat de machine zover ik weet maar in DWINGELOO), is het geniale netwerk dat de verschillende nodes verbindt.

Om de processors namelijk te laten samenwerken moet je die honderden megabytes aan data per processor naar elders binnen de machine verplaatsen. Dit geldt voor elke processor.

Het internet is te traag hier voor en heeft te weinig bandbreedte.

Belangrijk is dat je in die machines ook binnen een paar microsecondes een boodschap van deze processor naar een remote processor kunt versturen.

Dat heet de one way pingpong latency.

Die is cruciaal.

Op internet is die op zijn best rond de 50 millisecondes. Dus dat is factor 10000+ trager.

Dan hebben we 't nog niet over bandbreedte.

De prijs van de processors in deze machines is bijna irrelevant t.o.v. de prijs van het netwerk als we praten over zulke monsters van machines.

Zeker als we het hebben over de productieprijs die ibm betalen moet voor haar processors.

We praten over iets van 200+ processors per drukgang die ze drukken. 1 drukgang kost misschien 3000 dollar.

[resink]

Ligt het aan mij of heeft IBM een monopoly op supercomputers?

[kidde]

Als je bij de top100 van nov2004 kijkt komt IBM inderdaad veruit het vaakste voor.

http://www.top500.org/lists/plists.php?Y=2004&M=11

[ventje853]

hier een nog beter overzicht:
http://www.top500.org/sublist/stats/index.php?list=2004-11-30&type=ven dor&submit=1

Hier de drie met meest aantal systemen:
Company Count Share % Rmax Sum (GF) Rpeak Sum (GF) Procs Sum
IBM 216 43.2 556910 1016931 221914
Hewlett-Packard 173 34.6 236553 379282 85600
SGI 20 4 76129 91443 22048
[SGI?]

[TeleMax]

SGI = Sillicon Graphics

[boner]

SGI = ook ex-cray.....

[hardwareaddict]

SGI kost 1 miljoen dollar per 64 processors (introductie altix3000 series). En iets van 12+ miljoen euro voor een 416 processor machine zoals in Amsterdam staat (ASTER). Die levert op papier 2.2 Tflop.

Van die 416 processors kun je dus een groots gedeelte altijd niet gebruiken, omdat het single image systemen zijn. Er is bij een partitie van 64 processors altijd 2-4 cpu's die je niet gebruiken kunt omdat bijvoorbeeld 1tje de centrale klok bijhoudt en de andere cpu's alleen voor de i/o zijn.

Vergelijk Stella die levert 27.5 Tflop voor 8 miljoen euro met 12288 processors.

[hardwareaddict]

(reactie op boner)
SGI en Cray waren 2 bedrijven die bij elkaar ooit zaten. De product lijn van SGI is totaal anders als Cray.

Het netwerk is wat telt.

Quadrics leverde netwerk van Cray T3E

Je kunt een 8 node netwerk bij quadrics bestellen voor ongeveer 13095 dollar.

Die werken ook op je pc's. Dus dat mogen ook 8 dual opterons zijn.

Heb je dus spotgoedkoop een 16 processor machine.

Vergelijk Altix3000 = 1 miljoen dollar voor 64 processors en die lopen op maar 1.5Ghz momenteel (de 1.6Ghz versie is volgens mij andere socket die alleen voor quads werkt).

SGI levert alleen itanium processors van intel.

Quadrics werkt op alle hardware.

In Frankrijk bouwen ze een 8000+ processor machine momenteel van itanium2 processors, maar ook bouwen ze elders goedkope supercomputers opgebouwd uit dual opterons.

[Hielko]

Volgens mij is HP de grootste op gebied van supercomputers, IBM is 'slechts' tweede. Hierbij moet wel opgemerkt worden dat IBM sneller groeit dan HP op dit gebied.

[Verwijderd]

Uit de bijlage bij de Top-500 lijst van snelste computers (editie eind 2004):

* IBM has 216 supercomputer systems installed, most of any vendors (43.2 percent of the list are IBM systems).

* IBM has most installed computing power with over 556.9 Teraflops (49.39 percent of the total power on the list belongs to IBM).

* IBM has the most supercomputers in the Top10 with 4. (No other vendor has more than one system in the top 10.)

* IBM has the most powerful supercomputer in Europe, MareNostrum, which is based upon IBM's eServer JS20 BladeCenter.

* IBM has the most supercomputers in the Top20 with 8.

* IBM has the most supercomputers in the Top100 (58)

* IBM has the most Linux clusters on the TOP500 List (161)

* IBM has the most supercomputers powered by blade servers on the Top 500 List (42).

[Verwijderd]

Sorry... Terwijl ik aan het typen was kwam het vorige bericht al binnen

[hardwareaddict]

Ze hebben geen monopoly.

Wel zijn ze de enigen die zoveel gflops voor weinig geld leveren.De nieuwe CELL processor zou dat nog verder in het voordeel van IBM/Sony kunnen brengen.

Je moet het zo zien.De grootste ibm machine heeft meer processors als intel in totaal aan itanium2 processors verkoopt.

Dus vandaar dat ibm de zaak ook stevig goedkoper kan leveren.

Intel heeft m.i. een vreselijke fout gemaakt door de sectoren te splitsen. Een spotgoedkope processor bakken voor het publiek (P4) met lachwekkende kleine caches. Dat betekent hoge yields (bij het drukken van processors gaat het erom dat je zo min mogelijk kapotte exemplaren drukt, want wat kapot is dat kun je niet verkopen en 1 drukgang kost duizenden dollars, dus wil je honderden processors tegelijk drukken per drukgang), maar heel magere prestaties.

Itanium2 zou dat moeten corrigeren, met name op floating point gebied. Echter daar verkopen ze nauwelijks 100000 processors van. Gevolg is dus dat machines met itanium2 processors extreem duur zijn.

IBM heeft voor de CELL processor al bedongen dat ze in sony playstation 2 komen. Dus dat betekent een gegarandeerde afzet van bijna 70 MILJOEN exemplaren.

Je kunt ze dan stevig goedkoper drukken en de ontwikkelkosten komen er beter uit.

Dat betekent ook dat je dan supercomputers kunt neerzetten die veel gflops tegen een lage prijs bieden.

Stella is daar een goed voorbeeld van.

27.5 tflop is natuurlijk GENIAAL. En dat voor 't kleine Nederland!

[Mombasa]

Met behulp van 25.000 sensoren wordt de gevoeligste radiotelescoop ter wereld gevormd waarmee dertien miljard lichtjaren ver gekeken kan worden.

Dan zullen we pas over 13.000.000.000 jaar weten of Stella haar werk wel goed doet

[Ram6]

Waarschijnlijk niet - het heelal dijt uit. Zelfs deze uitdijing accelereert. De kans is groot dat rommel op afstanden in de buurt van 15 miljard lichtjaar "spoedig" buiten onze waarneembare "bubble" verdwijnt.
Of Stella haar werk goed doet zal op een andere manier moeten worden vastgesteld.

[Steenvoorde]

Dat kan je wel zeggen, maar dat is maar een theorie. Momenteel zijn er discussies gaande dat de donkere materie (welke heel moeilijk te waarnemen is voor ons) verantwoordelijk is voor het grootste gedeelte van de massa in het heelal en dan wordt het opeens een heel ander verhaal. Zelfs de big bang wordt in twijfel getrokken!

Maar ook dit is weer een theorie, ik ben bang dat we eigenlijk helemaal nog niet zoveel weten hierover...

[PrinsEdje80]

Dat de Big Bang in twijfel getrokken wordt geloof ik (als Astronoom) absoluut niet. Donkere materie daarentegen wel! Zelf ben ik d'r ook niet zo'n voorstander van.

Voor degenen die het interesseert: Lofar staat voor Low Frequency Array. Het zal geschaard worden onder de catergorie radiotelescopen, ook al ziet het er niet uit als de Westerbork schotels.

In principe kan iedere goede Tweaker met twee ijzerdraden/metaaldraden en wat knutsel werk een telescoop in elkaar zetten. Je 'tuned' in op de radio van de hemel... Daar komt het eigenlijk op neer!

[Steenvoorde]

Tja, ik ben geen astronoom maar heb dit wel gelezen in het Wetenschaps Katern van de Volkskrant van afgelopen weekend. Er blijken dus wetenschappers te zijn die aan de big-bang twijfelen, omdat er te veel variabelen bij zijn gekomen (o.a. donkere materie).

Kan ik me ook wel wat bij voorstellen. Ik denk dat het goed is dat de meest aannemelijke theorieen regelmatig stevig aan de tand worden gevoeld. Voordat het teveel als waarheid wordt aangenomen zeg maar. Hoewel een big-bang voor mijzelf ook nog het meest aannemelijk is hoor.

[Steenvoorde]

dubbelpost, sorry

[b19a]

We bekijken juist gegevens die 13.000.000.000 jaar oud zijn .

[Bakove]

inderdaad... als iemand far far away nou ook zo een computertje had, dan konden ze ons vertellen wat hier 13 miljard jaar geleden gebeurd was
tenminste... ze zouden t kunnen waarnemen... dat vertellen daar moet dan nog iets op gevonden worden

[begint nu wel een beetje off-topic te raken.. :o]

[pinjoprogress]

Ze zouden niet veel waarnemen, daar het nog miljarden jaren zou duren voordat onze aardkloot zich begon te vormen...
Zou wel leuk zijn als we zover zouden kunnen inzoomen dat we iemand zien zwaaien terwijl dat eigenlijk 13 miljard jaar geleden al was gebeurd...
Hmmm...

[mjtdevries]

Aangezien de aarde zo'n 4,5 miljard jaar oud is, is hier 13 miljard jaar geleden waarschijnlijk niet zoveel gebeurd

sorry, dubbelpost. Toch maar eerst een refresh doen voor ik ga lezen en reageren...

[Verwijderd]

Lichtjaar is een afstand geen tijdsmeting

[iain]

nee, maar wat wij zien van 13 miljard lichtjaar ver weg, gebeurde 13 miljard jaar geleden, omdat het licht er een jaar over doet om een lichtjaar af te leggen! (hoezo open deur?)

[LANnerd]

ik wil ook zo'n kast thuis heb ik wel een lekkere airflow denk ik

maar ik vind dat nederland eigenlijk best trots mag wezen op zo iets bijzonders ik bedoel we komen in de buurt van het kleinste land ter wereld en moet je kijken wat we allemaal flikken!!!!!

[robgrootendorst]

Trots? Tuurlijk zijn we trots, maar we moeten ook niet overdrijven. Volgens mij staan we op plaats 12 van grootste landen (ontwikkelde landen). Als we even snel kijken in de top500.org dan kom ik nog 2 andere Nedelandse computers tegen. (zoek via google) Dus nu hebben we er 3 in de top 500. Volgens mij heeft de VS veel meer supercomputers per inwoner dan Nederland.

[epharm]

Het waren er vijf in de laatste lijst:

153: SARA (Netherlands/2003 - 1793 Gigaflops)
164: Petroleum Company (Netherlands/2004 - 1706.37 Gigaflops)
424: Atos Origin (Netherlands/2004 - 969,1 Gigaflops)
426: HP Financial Services (Netherlands/2004 - 969,1 Gigaflops)
458: University Groningen (Netherlands/2004 - 931,15 Gigaflops)

En daar komt nu de zesde in de top 500 bij (de tweede supercomputer in de lijst in Groningen) met 27,4 Teraflops. Teminste... als de oudere van de RuG niet uit de lijst gezakt is in juni bij het uitkomen van de volgende top 500...

Er gaat niets boven... inderdaad.

[mxcreep]

De VS staat uberhaupt met alles wat bakken energie verbruikt bovenaan...zij zijn degenen die weigeren mee te werken aan elke vorm van beperking van slopen van ons aller milieu...ik weet niet hoor, maar wil je je daar nou echt aan spiegelen ? Ik niet in elk geval...