Verslag bezoek aan Genesis-cluster

Wat is Genesis?

In Bijbelse termen staat 'Genesis' voor de creatie van de kosmos en de aarde. Meer algemeen kunnen we stellen dat 'Genesis' het begin van een nieuw tijdperk is en dat is in zekere zin ook het geval met het Genesis cluster van Shell. Dit linux cluster is, met zijn 1024 nodes, waarschijnlijk de grootste en snelste ter wereld. De machine staat zelfs in de top 50 van supercomputers.

Als studenten informatica en tweakers, bedenk je je geen twee maal wanneer je de kans word geboden om voor deze computer te mogen programmeren. Wij (Arjen van der Meijden en Thijs Terlouw) gebruiken de Genesis computer om lineaire vergelijkingen parallel op te lossen, een klein deel van een groot programma waar in Rijswijk aan gewerkt wordt. Globaal gezegd wordt de Genesis machine gebruikt om data van bodemonderzoek om te zetten in bruikbare informatie bij het zoeken naar olie. Na een week studie werden we op dinsdag 10 juli rondgeleid door onze 'baas'. In de kelder van het gebouw zien we een gigantische hoeveelheid computers staan. Temidden van vele andere kasten staan daar de zwarte Genesis kasten opgesteld.

De zwarte Genesis kasten. De deuren zijn niet massief, maar laten lucht door ivm met koeling.

De stroomvoorziening bleek één van de grootste problemen te zijn waarmee rekening gehouden moest worden bij het vinden van een locatie. Genesis gebruikt gemiddeld zo'n 150KW en produceert dus ook voor 150KW warmte. Om dit geweld te koelen is daarom ook nog koeling nodig van zo'n 150KW, een totaal van 300KW. In de vloer zijn diverse roosters te vinden waar koude lucht uitblaast en in de racks van Genesis bevinden zich ook de nodige ventilatoren. Ok, nu genoeg over de locatie, op naar de hardware details .

Genesis hardware

In totaal bevat Genesis 1024 reken-nodes, de topologie hiervan is een grote boom met 32 takken die ook elk weer 32 takken hebben.

Officiële Shell slide van Genesis.

Bovenstaand plaatje beschrijft de structuur van Genesis. Je komt binnen bij de Eden01, dit is de login-server. De Adam-nodes (de management nodes) zijn o.a. verantwoordelijk voor het distribueren van de opdrachten over de computing-nodes. Via de Gigabit Ethernet (GE) switch worden de opdrachten over de racks en/of nodes verdeeld. Daarnaast is er ook een onafhankelijk management netwerk, dat door de GE switch als een compleet gescheiden netwerk behandeld wordt.

Netwerk

De GE switch werkt als centraal verdeelpunt van de data. De data komt binnen vanaf de Adam-nodes en wordt door middel van Gigabit verbindingen verstuurd naar de losse racks. De centrale switch heeft om alles enigszins vlot te laten verlopen 7x16+2 Gigabit aansluitingen (in totaal 114) waarvan er 96 voor de racks gebruikt worden. Elke management node heeft een apart aansluiting. Er zijn nog maar 8 aansluitingen vrij voor toekomstige uitbreidingen. Aangezien de standaard backplane van deze Cisco 6500 maar 32Gbit aan kan is ook deze vervangen door een 256Gbit versie.

De Gigabit Ethernet switch van Cisco

Management nodes

Er is een speciale server die als een soort jobsspooler draait, tussen het cluster en de users in. Dit is een standaard Sun Enterprise 450 met vier 400MHz CPU's en 300GB schijfruimte. Deze wordt bijgestaan door een taperobot met 10GB opslagruimte op elk van de 200 tapes voor de langdurige opslag. Op de onderstaande foto zie je rechts de taperobot met onderin de rijdende robot. In het midden zijn enkele tapes te zien. Op de Sun wordt één processor alleen maar gebruikt om de taperobot te bedienen en inkomende data te verwerken. Op de monitor stond volledig onbegrijpelijke hexadecimale output.


Er zijn zes management nodes: de login-server, file-server, jobscheduling-server, DHCP-server, management centrale en secundaire mangement node. Deze kan het uitvallen van één van de andere management nodes opvangen. Deze managements nodes bestaan alle zes uit een E-Server 2U kast met een dual Pentium III 1GHz, 1GB RAM, twee 36GB 10.000rpm SCSI drives in een hot-swappable RAID 0 opstelling. Verder zijn er twee 100Mbit en één Gbit netwerkaansluitingen. De nodes zijn voorzien van speciale management hardware waarmee de systemen volledig op afstand bediend en gerestored kunnen worden.

De adam management nodes. De netwerkkabels gaan onder de vloer naar alle andere racks van Genesis.

Cluster management

De management software en hardware is erg uitgebreid en maakt het mogelijk een willekeurige node te benaderen om bijvoorbeeld even in het BIOS te kijken. Er zijn chips op het moederbord aanwezig die aan de management centrale door kunnen geven dat ze 'kapot aan het gaan' zijn. In zo'n geval wordt er direct een mailtje naar IBM doorgestuurd, die dan een monteur met een nieuw systeempje langs stuurt. Nadat een systeem in het rack is geschroefd, wordt deze verder volautomatisch geïnstalleerd. Na een kwartier is hij klaar om mee te rekenen. Als men een volledige software upgrade wil uitvoeren kan dat ook met deze software geregeld worden. Er staat dan bijvoorbeeld in een half uur op elke node een compleet nieuw OS.

Computing nodes

De 1024 nodes van het Genesis-cluster zijn met 32 systemen in 32 racks geplaatst. Per rack is er een switch (met twee Gigabit uplinks naar de GE) en de bovenste node is aangewezen als scatternode. Op den duur is het de bedoeling dat deze stagingnodes een grotere schijfcapactiteit krijgen (bijvoorbeeld met een externe SCSI-kast), zodat zij met z'n 32'en een General parallel filesystem gaan draaien. De stagingnodes hebben daarom al een eigen Gigabit aansluiting op de GE, mede om een snellere distributie van de data over alle nodes te bewerkstelligen. De data wordt dan namelijk vanaf de fileserver naar de stagingnodes verzonden en die verzenden het weer als een waterval naar de gewone nodes in het kabinet.

Foto rechts: De voorkant van een rack met 32 nodes. Links zitten de cd-rom speler en floppy-drive

Foto links: Achterkant van een rack. Bovenin een switch en daaronder de daisychained nodes. De zwarte kastjes die om de 11 nodes zitten zijn onderdeel van de speciale management hardware.

Alle nodes zijn momenteel nog identiek. De racks bestaan uit een E-Server in een 1U kast met een 1GHz Pentium III processor, 512MB RAM, twee 36GB 10.000rpm SCSI schijven (ook hier in een hot-swappable RAID 0 opstelling), twee 100Mbit NICs en voor de stagingnodes een extra Gigabit aansluiting. Eén netwerkpoort is nodig voor de management hard- en software. De servers beschikken over speciale management hardware waarmee de systemen volledig op afstand bediend en gerestored kunnen worden. Verder zijn er standaard aanwezig een CD-ROM drive, floppy en videokaart (waarvan het nut ons een beetje ontgaat ).

Totalen

Het cluster beschikt in totaal over:

• 1 TeraHertz CPU power
  
• 512 Gigabyte RAM geheugen
  
• 72 Terabyte schijfruimte
  
• 2 Terabyte taperuimte
  
• 256 Gigabits netwerkbackbone
  
• 1037,10 Gigaflops en 1024 Rpeak Linpack performance

OS en software

Shell streeft een gebruik van opensource software na. Daarbij worden ook (indien nuttig of van toepassing) door Shell zelf ontwikkelde tools publiek gemaakt. Het complete cluster draait op Red Hat 6.2 met uitzondering van de Sun machine, die uiteraard op Solaris werkt. Mocht men de besturingssystemen willen upgraden (voor GPFS ondersteuning bijvoorbeeld) dan kan dat in een half uurtje geregeld zijn. Gelukkig is het in dezelfde tijd ook weer te restoren naar het oude OS .

Parallelisatie software

Een van de meest gebruikte omgevingen voor het rekenen op grote (parallelle) systemen is MPI (Message Passing Interface). De door Shell gebruikte implementatie is Mpich, maar Cray heeft bijvoorbeeld een eigen geoptimaliseerde variant voor hun supercomputers. Naast of bovenop MPI kunnen weer andere libraries draaien, zoals bijvoorbeeld PETSc (Portable, Extensible Toolkit for Scientific Computation). Bovenop MPI draaien allerlei rekentools en programma's van Shell, waarbij sommige jobs wel een week of 4 (!) kunnen duren. Voor de job scheduling wordt gebruik gemaakt van PBS, dat voor de toewijzing van de verschillende resources zorgt. Je kunt bijvoorbeeld 50 nodes reserveren voor een bepaalde rekentaak.

Conclusie

Eén van de vragen die ons bezighield, is de vraag waarom Genesis nu eigenlijk het snelste cluster is. De top vijf van de Cluster Top 100 bestaat geheel uit machines met 1024 CPU's. Desondanks is de Genesis toch het snelst en wel om de volgende redenen:

• De Genesis heeft net iets meer CPU-power, behalve vergeleken met nummer 2. Deze heeft echter twee processors per node en dat betekent de gebruikelijke verslechtering van de performance-scaling voor multiprocessor machines.
  
• Er is geen machine die meer RAM geheugen per CPU heeft dan de Genesis. Enkele dual processor machines hebben 1024MB, maar dit is nog steeds slechts 512MB per CPU.
  
• Volgens zeggen zijn Myrinet netwerken sneller dan Gigabit ethernet netwerken. In de praktijk valt dit wat tegen en de topologie van Genesis is ook nog eens behoorlijk geoptimaliseerd.
  
• De Genesis beschikt over een Raid 0 van twee snelle 36GB schijven. Dit levert natuurlijk een snellere swap en ook snellere toegang tot de files op. Daarnaast heeft de Genesis ook nog meer schijfruimte op de nodes, dus kan er meer data opgeslagen worden en blijven. Dit scheelt extra distributies en benaderingen via het netwerk.

Disclaimer: alle afbeeldingen zijn © by Shell.

Reacties (137)

[Burat]

Erg leuke review. Ik blijf van die gigantische systemen interessant vinden .

Klein puntje:

In bijbelse termen staat "Genesis" voor de creatie van de kosmos en de aarde.

De aarde is ook onderdeel van de kosmos (= Grieks voor "wereld, geordende werkelijkheid").

[AntiChris]

kosmos (= Grieks voor "wereld, geordende werkelijkheid")

[off-topic]Wel leuk dat dan juist de kosmos de grootste chaos kent.[/off-topic]

[Eelke Spaak]

Wel leuk dat dan juist de kosmos de grootste chaos kent.

offtopic:
De Kosmos is geschapen uit de Chaos volgens de Griekse mythologie...

[DarkHelmet]

Verbaast me dat RAID 0 wordt gebruikt. Komt de redundancy niet ten goede toch?
Maar ja wat wil je met 1024 PC's, als er dan 1 of 2 uitvallen, dan heb je er nog ruim duizend om het op te vangen, en dan haal je die gevonden processor tijd gewoon in door 's nachts het hele zaakje gewoon door te laten draaien...

Dit geeft voor mij wel de doorslag om in de toekomst met 4 IDE schijven gewoon RAID 0 te draaien IPV RAID 10

[ACM]

Met 1024 nodes, maakt het je geen niks uit, dat er af en toe een uitvalt.
Er komt binnen een dag wel weer een vervanging dan

Die ene processor mis je dus niet.

4ide-disks past niet zo lekker in een 1U kast, dus zou je er weer 2U van moeten maken (met als gevolg dat het cluster gelijk letterlijk 2 keer zo groot wordt)
Bovendien is schijfruimte niet zo'n heel erg grote issue.

Raid1 is gewoon volslagen zinloos, de data staat nog op 1023 andere nodes, en op de management nodes/tapes

[Femme]

Maar hebben ze nu ook 1024 volstrekt overbodige CD-ROM drives aangeschaft? (100.000 piek aan overbodige hardware). Kan me voorstellen dat Shell niet zo op de centjes hoeft te letten...

[ACM]

Dat is ons achteraf nog uitgelegd.

Die zijn er voor onderhoud in geplaatst. Als een harddisk crasht (tenslotte het gevoeligste onderdeel van zo'n node) dan kan je met weinig moeite er een nieuwe induwen, een cdrom in de drive en reboten. Een kwartier later is ie dan volledig geinstalleerd op de nieuwe harddisk .

Als je eerst een cdrom-drive moet inbouwen is dat wat onhandiger. En er is voor cdroms gekozen, omdat een foutje in een bootup-image in netwerkkaarten wat lastiger te verhelpen is, dan een foute cdrom.

[tweakerbee]

Bovendien ontlast installatie via CD-ROM het netwerk weer een beetje

[Marcel Loesberg]

[quote] en dan haal je die gevonden processor tijd gewoon in
door 's nachts het hele zaakje gewoon door te laten
draaien... [\quote]

Ik denk niet dat ie ooit uit zal zijn of idle, dat ding draait 24x7.
Net als vroeger toen systeembeheerders ook nachtenlang
met ponskaarten naast de machine moesten blijven staan om
"'m bezig te houden" is deze veel te duur om niet bezig te zijn.
Bovendien stond in het artikel dat sommige jobs wel 4 weken duren.

[ACM]

Wat een troll maar weer...

RedHat biedt nou eenmaal, in tegenstelling to vele andere distro's, duidelijk support.
En als vervolgens IBM adviseert om RedHat te nemen op dat cluster, dan zal Shell daar niet gauw nee tegen zeggen.
Zowiezo wordt er veel linux gebruikt (bij mijn weten allemaal redhat) en dat draait allemaal stabiel.

Deze machines zijn _niet_ bedoeld voor een hoge load, maar voor een continue load, linux doet dat net zo goed als *BSD en wederom, voor (redhat) linux durven bedrijven iig support te geven.
Shell onderhoud het cluster niet, dat doet IBM in principe...

De reden van die Sun doos? Tsja, er was een server met capactiteit nodig en toevallig was er een Sun server "over" (niet over, maar werd opgeofferd, zo ik begrepen heb)

Overigens is Solaris 8, tegenwoordig toch gratis bij de aanschaf van Sun hardware??

De Google-aanpak is leuk, maar niet voor een parallele computer, zo'n wijdverspreide "bak" presteerd voor geen meter zeker niet met de algoritmes van Shell, omdat de netwerksnelheid heel snel instort (en laten we over de prijs van al dat netwerkverkeer ook maar zwijgen dan)

Overigens zijn deze IBM bakkies, in principe _wel_ el'cheapo pc's, maar dan wel met goede service contracten en relatief goede en snelle hardware...

Een groot bedrijf wil niet alleen maar snelheid, maar ook service.

[Verwijderd]

Ik snap niet wat Shell nu nog moet met zo'n DURE computer, als waarschijnlijk binnen enkele tientallen jaren de olie op is

Laat ze het geld in ontwikkeling naar alternative brandstoffen steken ofzo?

Eppie

[]Byte[]

Ik snap niet wat Shell nu nog moet met zo'n DURE computer, als waarschijnlijk binnen enkele tientallen jaren de olie op is

Wat is duur?
Als je kijk wat voor een processingpower je krijgt en wat een 'echte' supercomputer kost, krab je je nog wel een paar keer achter je oren.
Met een config als deze zijn ze goedkoper uit, uitermate goed schaalbaar, flexibel, en over die 'enkele tientallen jaren' bestaan deze systemen helemaal niet meer en daarbij zijn deze systemen al in z'n geheel afgeschreven in een periode van een jaar of 3 - 4, en zelfs dan heeft een configuratie als deze nog steeds zijn functionaliteit.

[Verwijderd]

Laat ze het geld in ontwikkeling naar alternative brandstoffen steken ofzo?

We zeggen voor het gemak Shell, maar Shell bestaat uit tig divisies, oa. Shell Renewables, Shell Solar en Shell Hydrogen.

Shell doet meer dan je denkt aan alternatieve brandstoffen.

[4POX]

Dan hebben ze het nog niet gehad over de 657.000 gulden per jaar voor de elektro rekening als ik er van uitga dat een KWH een kwartje kost.. Maar misschien heeft shell wel korting

[el frikandel]

12.5 cent hoog
6.5 cent laag
Betaal ik tenminste bij een constant vermogen van 150 KW (grootverbruik) 3x350 A aansluiting.

[RagaBaSH]

Shell koopt zijn stroom per MW, op de Amsterdam Energy Exchange...
dat is een soort beurs voor stroom. dit weet ik toevallig, omdat mijn pa die mede heeft opgericht.

voordeel hiervan is dat je tegen de laagste prijs van elke leverancier kan kopen (dus ik kan stroom uit griekenland kopen in Rotterdam... bijvoorbeeld)
heel simpel.

[ACM]

Shell koopt natuurlijk wat meer tegelijk in, en krijgt het dus goedkoper dan jij en ik.

[Verwijderd]

shell heeft haar eigen energiecentrale.
pas nog een nieuwe 750 MVA transformator voor hun gemaakt hier bij mij op het werk
is het allergoedkoopste.

[ACM]

Euhmz?
Waarom wordt ons iets anders verteld door Shell dan?

Ze kopen gewoon hun stroom in, lijkt me. Maar krijgen dat uiteraard niet via een standaard aansluiting binnen (en daar zal de transformator wel voor zijn).

Misschien dat andere installaties (rafinaderijen bijv) wel een eigen centrale hebben.

[humi]

Ze hebben wel eigen centrales, maar die leveren gewoon wat ze zelf niet gebruiken weer aan het netwerk(Nuon of weet ik veel wat daar zit), zodat ze weer stroom kunnen krijgen als hun eigen centrale uitvalt...zo verdienen ze er weer iets aan..
De meeste van die bedrijven maken meer energie dan ze gebruiken, maar in toptijden, of tijdens onderhoud nemen ze energie af..

[balk]

Misschien dat andere installaties (rafinaderijen bijv) wel een eigen centrale hebben.

idd, al die grote fabrieken hebben hun eigen stroomvoorziening. Sterker nog, ze leveren eventueel stroom aan het net. Ze gebruiken ook hun eigen olie/gas om de boel te verwarmen

[Tyrian]

Jullie hebben er toch wel ff stiekem 'n koetje op geïnstalleerd?

[P5ycho]

1024x 1Ghz... dat is gewoon ziek veel extra rekenkracht voor DPC...

laten we er maar niet over verder dromen

[llevering]

Ik heb het even opgezocht het ding kan 922849 wu per dag naar d.net sturen.

[/dream modus=on]

[Joske Pauwels]

Dat noemen ze oneerlijke-concurentie-overkill

[aKra]

Persoonlijke megaflush

Als je dat ding nou een maandje laat sparen (toch HDD ruimte zat) dan achja gaat Distributed over z'n nek ivbm beetje teveel packets

[RG]

Ik denk het wel. Hoe kan ie anders volautomagisch een e-mail sturen naar IBM

[Verwijderd]

Een klein probleempje, denk niet dat je dat allemaal op een flopy krijgt om te verzenden naar d.net, want ik denk niet dat dit ding aan het internet hangt!

[ACM]

Dat zou je wel gemerkt hebben aan de DPC stats dan
Maar helaas, ook dat kon niet zomaar, onder het alziende oog van de begeleider

[Verwijderd]

Als je zo'n bak neer zet dan doe je dat niet voor de lol. (of het koetje).
Dus dat ding zal niet (of erg weinig) idle zijn, zodat het koetje niks berekent.

[Verwijderd]

Als je zo'n bak neer zet dan doe je dat niet voor de lol. (of het koetje).
Dus dat ding zal niet (of erg weinig) idle zijn, zodat het koetje niks berekent.

Normaal reageer ik niet zo snel in dit soort draadjes, maar nu moet ik toch ff ingrijpen: heb jij je koe op idle staan ?!?! Zet hem es ff snel op negen, en kom dan nog eens terug !

[Captain Pervert]

Eerst goed lezen kerel.
De Genesis is niet idle: hij is allemaal stuff aan het berekenen. Het installeren van zou niet veel zin hebben omdat de koe, zoals je weet, werkt met idletime (overgebleven processorkracht). En aangezien er nix overblijft...

[MikeN]

Hij bedoelt:

config

> 3. Performance related options
> 3. Priority level to run at

Als je die hoger zet gebruikt hij niet alleen meer idle tijd....

[Sir Abarth]

Genesis gebruikt gemiddeld zo'n 150 KW en produceert dus ook voor 150 KW warmte.

Erg knap, je stopt er iets in, er er komt hetzelfde vermogen aan warmte uit, en dan rekent'ie ook nog.

* 786562 Sir

offtopic:
Staattie nu wel goed?

[Verwijderd]

Zullen we een wet opstellen en 'm voor de gein "wet van behoud van energie" noemen?

[Sir Abarth]

Mja, lijkt me een plan

* 786562 Sir

Maar ff serieus, niet alles wordt toch in warmte omgezet

[Tonton]

tuurlijk wel warmte, je wilt toch niet zeggen dat er nog wat energie blijft vastzitten in het antwoord van zijn rekensommetje

[Verwijderd]

Het draaien van de hardeschijven kost ook energie (het opstarten als ze eenmaal draaien gaat alle energie zitten in het opheffen van de wrijving en dat is warmte) Voor de rest zal zo'n computer ruimte alleen maar warmte opleveren en voor de rest niks.
* 786562 ultimate2

[mr_a]

Er gaat hier een klein beetje energie (elektrontjes over koperdraadjes) uit het systeem doordat de informatie die geproduceert wordt (via arbeid zeg maar) eruit gehaald wordt. Maar ik betwijfel toch een beetje of dit te meten is

Verder speelt op Quantum Mechanica de vraag of informatie nou een fundamentelere bouwsteen is, of dat materie (=energie) dat is. Ik bedoel, informatie wordt dan weer plots materie enzo, echt vaag!

[Sir Abarth]

Ik heb er nog even over nagedacht, en warmte is dus de grootste energievreter. Alle ander soorten straling zijn denk ik idd verwaarloosbaar (licht ed.).
Misschien dat de hd's nog wat energie slurpen, maar die geven natuurlijk ook warmte af.

Nog meer ideeen?

[ACM]

De koeling zelf produceert natuurlijk ook nog een beetje warmte, dat ook weggekoeld moet worden.

Grofweg komt het er dus op neer, dat je elke kilowatt verbruik moet compenseren met een kilowatt koeling.
(niet alleen maar fans dus, maar ook zware airco installaties)

[kiekerjan]

Wordt die warmte ook nog gerecycled of gewoon buiten geloosd? Ik kan me voorstellen dat die energie in de winter gebruikt kan worden als verwarming van kantoren ofzo. En in de zomer opgeslagen in een warmteput.
Dan zou niet al die energie "verloren" gaan.

[palloquin]

Is natuurlijk niet helemaal waar.

Warmte kan via radiatoren worden overgedragen aan "veilige" dragers...

[Kippenijzer]

En dan gaan langzaam aan alle werknemertjes ziek worden... Warmte afgegeven door computeronderdelen zit toch vol met ozon, en dat is toch wel weer schadelijk voor mensen, dus als je daarmee de vertrekken van je werknemers gaat lopen verwarmen krijgen ze allemaal ozon-vergiftiging, net iets minder direct dodelijk als koolstofmonooxide vergiftiging...

[Dromer]

Hotswap raid-0 is toch niet echt lekker..
Als er dan een schijf kapot gaat ben je al je data kwijt..
Daarom snap ik dat hot-swap dan ook niet helemaal want hij kan toch de raid niet rebuilden.

[ACM]

Zie reply van mij, een stukje omhoog.

Behalve een beetje data van een van de "huidige processen" raak je eigenlijk helemaal niks kwijt.
De rest van de data op de disks is gewoon algemeen verdeeld over alle nodes.

[Jasper Janssen]

maar raid 0 is dus geen hotswap.. als je een van de twee schijven lostrekt dan is de hele array down.

[Squee]

Dus wat er eigenlijk bedoeld wordt, is dat het hot swappable SCSI drives zijn, die in een RAID 0 opstelling gebruikt worden.

Zo goed?

[ACM]

Tuurlijk zijn de disks wel hotswap.
Je hoeft de machine niet uit te zetten en open te schroeven om ze eruit te halen....

Dat je er je OS mee crasht is weer wat anders

Squee zegt het dus goed.

[redfoxert]

Het rebuilden van een raid duurt langer als het installeren van een compleet nieuwe bak (een half uur volgens het verhaal). En aangezien alle berekende data toch centraal blijft maakt dat ook geen bal uit. Daarom dus gewoon lekker hotswap raid-0.

HEEEEEEEEEEELE geile server overigens

[[Bc]-=VorteX=-]

Als jhe Windows 2000 Advanced server pakt, of NT4.0 Enterprise heb je een wat vertrouwde omgeving die je als cluster kunt installeren....al kom je er vast niet mee in de Top 100

Maar errug leuk verslagje...loop met wat collega's redelijk op de hardware te geilen!

P.S.: Ik zag geloof ik iemand over IDE-RAID spreken...Dat ga je toch niet menen he...
Hot-Swap = SCSI
10.000 RPM = SCSI
Kwaliteit = SCSI
Dus definately geen IDE
IDE neemt processorcapaciteit in...SCSI heeft own intelligence, veel beter voor zo'n cluster!

[Verwijderd]

de mensen die deze cluster in elkaar geknutseld hebben zijn denk ik eerder gewend aan een *nix prompt dan aan een windows environement.

[tweakerbee]

Kan de netwerkomgeving dat eigenlijk wel aan: 1024 computertjes

[wildhagen]

O, jawel hoor, tot 65.534 (of zoiets, dat bekende getal) kan-ie hebben

[Verwijderd]

in de top 100 staat 1 NT cluster op nummer 49...

[Verwijderd]

Goede review ACM!
En Daniel ..... bedankt

[ACM]

Moet je trouwens T.T. ook meenoemen he
Ik heb het tenslotte samen met hem geschreven.

[Verwijderd]

Aha, hij heeft gewoon alles geschreven dus

[T.T.]

haha, nee ACM kwam met het idee en heeft de meeste reacties beantwoord, dus hem komt de meeste eer toe.