Weta bouwt renderfarm van 220 dual Xeon servers

De New Zealand Herald schrijft dat Weta Digital, de Nieuw-Zeelandse effectenstudio die verantwoordelijk is voor de digitale effecten in de Lord of the Rings triologie, een renderfarm van 220 dual Xeon servers heeft geïnstalleerd. De servers zijn voorzien van 4GB RAM, twee processors op 2,2GHz en een 1U rackmount behuizing. Weta zal de machines toevoegen aan de bestaande farm van 350 Pentium III-1000 systemen. Het bedrijf heeft een tweede order geplaatst voor nog eens 256 machines, waarvan wordt gezegd dat deze de grootste is die Intel tot nu toe voor de Xeon processor heeft ontvangen. Tezamen zullen de servers een dedicated 'rendermuur' van 22 racks vormen, die het snelste computercluster van de 'Southern Hemisphere' zal zijn.

De machines zijn geassembleerd door de lokale computerbouwers, die dankzij de order waardevolle ervaring opdeden en een flinke verkoopstijging kregen. Door gebruikmaking van lokale leveranciers heeft Weta de kosten per server laag kunnen houden, waardoor meer processorcapaciteit gerealiseerd kon worden. De systemen zullen voornamelijk Renderman van Pixar en de in eigen huis ontwikkelde Grunt software draaien. Red Hat Linux draait als besturingssysteem.

Begin juni nam Weta Digital reeds 200 IBM Intellistations in gebruik. De workstations kunnen 24 uur per dag door de grafici gebruikt worden. Volgens het artikel zijn de werknemers dermate fanatiek dat sommigen van hen zelfs op zondagochtend rond half zes op hun werkplek zijn te vinden.

Reacties (78)

[jwbagger]

Door gebruikmaking van lokale leveranciers heeft Weta de kosten per server laag kunnen houden, waardoor meer processorcapaciteit gerealiseerd kon worden.

Zou 't uitgemaakt hebben als ze een duurdere leverancier hadden? Dan hadden ze misschien 10 of 20 minder pc's gehad ... Denk dat je dat nauwelijks merkt in performance paar minuten verschil in een totaal project renderen ofzo?

Hoe bepalen ze eigenlijk hoeveel ze er precies nodig hebben voor zo'n renderfarm? Kijken ze naar een bepaalde goal-rendertijd ofzo? Of kopen ze gewoon hun hele budget leeg aan pc's....

[Pietb]

20 * 2 (dual) * 2,2 Ghz is toch best een hele hoop...

Daarnaast is het natuurlijk goed dat de plaatselijke middenstand lekker mee profiteerd van de successen van dit bedrijf.

[FastBunny]

Zijn er zelfs 220 x 2(dual) x 2.20Ghz

[Blamm]

Hoe bepalen ze eigenlijk hoeveel ze er precies nodig hebben voor zo'n renderfarm?

Daarvoor heb je er nooit genoeg natuurlijk. Met meer gaat het altijd sneller.

[Verwijderd]

in de film business is tijd altijd geld, dus hoe sneller hoe beter. Kwestie kosten-baten. Ik denk dat het geen kwestie is van minuten... als je delen van films verspreidt over meerdere machines gaat de rendersnelheid aanzienlijk omhoog, zelfs met relatief trage machines. Sterker nog, het gebruik van twee machines is altijd sneller dan het gebruik van 1 machine met een snellere processor, dus veel machines is gunstiger.

Daarnaast als je het budget hebt, ..... je kunt zo'n enorme processor kracht ook voor andere doeleinden gebruiken (~ verhuren=geld).

[cc bcc]

Bij het renderen van Final Fantasy hadden ze tien miljoen render-uren nodig in totaal. Het maakt dus echt wel uit over hoeveel computers je dit verspreid.

[n4m3l355]

opticrons zijn 64bits.. ik denk dat dat nogal moeizaam wordt in combinatie met Pixar of hun eigen software .. ..

en dat 4Gb overbodig is.. als je iets groots rendert merk je heel snel dat hoe meer ram hoe sneller het loopt.. dus de rendersnelheid is erg afhankelijk van de hoeveelheid geheugen dat je hebt

[Femme]

De Opteron is backwards compatible met 32-bit x86, dus er zullen geen enkele problemen zijn om de bestaande software op een Opteron te draaien. 64-bit lijkt me ook geen probleem aangezien Pixar ook software op 64-bit machines heeft draaien.

[mr._Anderson]

Toch jammer dat AMD zoiets weer misloopt,

als ik WETA was, zou ik even hebben gewacht op de AMD opeteron, 64bits ??

ik weet niet op Linux ook 64bits aan kan, maar ik geloof dat AMD/Linux servers ZEER snel zijn.
Anders windows 64bits

Hoe dan ook, Intel weer lekker verdienen, AMD helaas niet

[^Mo^]

als ik WETA was, zou ik even hebben gewacht op de AMD opeteron, 64bits ??

Lijkt me niet zo'n goede zet voor dat bedrijf. Volgens het originele artikel hebben ze nu al 350 P3 systemen staan, en als bedrijf ga je meestal voor een leverancier, en niet allerlei verschillende.

[smolotov]

350 Pentium's? Dan zal er wel een stevige Service Level Agreement van Intel bijzitten.

Met zoveel machines snap ik dat ze de relatie met Intel wel gezond willen houden.

Even een megaorder plaatsen bij de grootste concurrent zal Intel niet lekker zitten, en zodoende zal de support voor de Intel-bakken een stuk stroever worden.

Dat willen ze natuurlijk niet.

[Verwijderd]

Als dat klopt wel maar ik zei Intel maten :-)
Bv. NCSA heeft al 352 Itanium II staan en daarvan zijn nog veel grotere clusters geleverd. Je praat dan over veel meer geld.
Bovendien lijkt het me stug dat dit het grootste deel van de jaarproduktie aan Xeon procs is.
Volgens mij bedoelen ze wat anders.

[Verwijderd]

Hieruit blijkt al dat jij geen grote aantallen onderhoud want zo werkt een SLA dus niet.
Je zal de bedrijven de kost moeten geven die naast duizenden Intel procs ook Sun etc. hebben staan.
Dit is een leuke order maar in Intel maten ook niet echt woest.

[Saus]

waarvan wordt gezegd dat deze de grootste is die Intel tot nu toe voor de Xeon processor heeft ontvangen.

Dit is een leuke order maar in Intel maten ook niet echt woest.

Voor Xeon blijkbaar dus wel............

[maratropa]

ehm, dude, AMD renderd over het algemeen sneller dan intels hoor, door de betere FPU unit. (ik neem aan dat je er wat vanaf weet?)

[Jan de Olde]

Het is algemeen bekend onder animators dat AMD nooit de performance van Intel processoren heeft en zal overtreffen. Don't get me wrong. Amd heeft goede processoren maar deze falen gewoon als het op renderen aan komt.

Nou ik werk nu al 10 jaar in deze business en als er één ding is waar AMD de afgelopen jaren beter in is dan Intel is het wel het renderen van plaatjes. AMD is gewoon sneller in floating point berekeningen. Pas het laatste half jaar sinds een groot aantal software fabrikanten hun software flink P4 heeft geoptimaliseerd komt Intel was weer een beetje in de buurt.

www.anandtech.com/chipsets/showdoc.html?i=1483&p=14

javafox.netfirms.com

[Chaoss]

Dude, nooit gekeken naar de FPU prestaties van een AMD?, en als er iets belanrijk is bij renderen dan is het wel een snelle FPU.

Jij kijkt natuurlijk alleen maar naar die render progjes die zwaar intel optimized zijn omdat ze heel erg gebruik maken van de SSE instructieset.

[edit]Ik ben de traagste nu wordt er 3x hetzelfde gezegt

[Aetje]

"Het is algemeen bekend dat..."

Referenties alsjeblieft. Dit is een HELE zwakke troll.

[Verwijderd]

Hallo, deel II moet wel voor de Kerst draaien, dat lukt dan dus niet meer. Van de andere kant haalt deel III dan weer Pasen misschien!?

[blobber]

Die films zijn alledrie al opgenomen hoor

[Skull_One]

Klopt , maar de digitale special effects (CGI - Computer Generated Imagary) zijn nog niet af hoor en dat duurt langer dan het maken van de film-opnames. Deel 2 is derhalve nog niet helemaal klaar maar ze zullen aardig op weg zijn.

Slim van ze om hun oude farm te laten staan en niet meteen in te ruilen. Zo kunnen ze lekker doorwerken en de nieuwe farm op hun gemak opzetten, testen en troubleshooten.

Overigens waren er recent nog wat draaidagen om dingetjes die blijbaar niet zo bevielen opnieuw op te nemen. Die jongens uit Nederland die o.a. de voeten van de Hobbits maken, moesten daarvoor een maand of twee geleden terug naar Nieuw Zeeland.

[Verwijderd]

[wijsneus] CGI = Common Gateway Interface [/wijsneus]

[LostboyArno]

Nummer 1 lijkt mij. Anders zijn er nog 4 grotere debielen Het vervreemd mij trouwens dat Intel steeds meer van dit soort orders krijgt. Vroeger deed men dit soort bewerkingen vooral met Silicon Graphics bakken.

[justice strike]

doen ze nog steeds alleen die gebruiken ze als workstations... (sgi wordt vrijwel nooit ingezet als renderfarm. (dacht ik tenminste) er zijn veel effiecientere processoren daarvoor te vinden... zelfs dan ia-32.

[Skull_One]

Silicon Graphics heet tegenwoordig officieel SGI (vanaf toen ze het nieuwe logo introduceerden). No kidding, dat andere gebruiken ze zogenaamd bijna niet meer omdat het blijkbaar niet allemaal meer om Graphics draaide. Het grappige is dat ze de laatste tijd hier en daar weer heel vaak met 'Silicon Graphics' komen, heel consequent van ze...

SGI's 3D workstations zijn inmiddels aardig ondergeschoffeld door Winows based werkstations. Eerst kwam Intergraph daarmee en die snoepte aardig wat weg van SGI. Toen had Intergraph nog de Wildcat in eigen beheer. Daarna heeft SGI gepoogd ook op het Windows platform succesfol te wezen wat mislukte, ze konden de concurrentie niet aan. Uiteindelijk hebben ze Intergraph zo'n beetje gekocht en doodgemaakt, Wildcat ging naar 3D Labs wat daarna in handen van Creative kwam. Maar goed, het leed was geschied en SGI kon de concurrentie van met Wildcat's en snelle cpu's uitgeruste IBM's en Dell's niet meer aan (price-perfomance).

Enfin, de 3D workstations van SGI zijn niet meer dat je-van-het. Maar hun Origin en Media server's en supercomputers zijn dat nog wel en kun je vast goed gebruiken om te renderen... als je software daar op kan draaien tenminste. Dat zal het probleem zijn tegenwoordig. Ik heb het idee dat ze meer voor simulatieberekeningen worden gebruikt.

[RG]

Ik denk niet dat er heel veel mensen overstappen van SGI naar Windows voor dit soort taken. Er is veel inhouse ontwikkelde UNIX software, die gewoon voor een groot deel herschreven moet worden voor Windows.
Linux is daarom ook steeds populairder aan het worden in dit segment. HP en IBM leveren tegenwoordig Intel based workstations met Linux erop. Software porten naar Linux is relatief gezien een eitje, verder heb je lage kosten qua basis software, goed configureerbaar uiterlijk van Gnome/KDE en een Lintel oplossing is veel sneller dan SGI.
Als je overstapt op Windows dan kan dat alleen voordelig zijn als je weinig inhouse software gebruikt, maar over het algemeen zie je dat men van SGI naar Linux switcht, zowel clientside als serverside.

[Jan de Olde]

Ik denk niet dat er heel veel mensen overstappen van SGI naar Windows voor dit soort taken.

Juist wel voor dit soort taken dus (grafische werkstations). Softimage en Alias Wavefront waren in de periode waar Skull_One het over heeft de absolute marktleiders in 3D Modelling/Animation en beiden verkrijgbaar voor NT. In die tijd had je ook nog Alpha workstations, dat was nog voor ze werden overgenomen door Compaq.

Het was heel opmerkelijk om te zien hoe de aanwezigheid van sgi op grote beursen in periode van twee jaar van 95% naar 10% verschoof en het omgekeerde met Intergraph.

[Gover]

SGI mag dan niet meer de snelste zijn, maar voor het bewerken van Video of bijvoorbeeld molecuulmodellen met hoog detail zijn de machines meer dan geschikt. In 1999 heeft het KNMI trouwens zijn nieuwe SGI mainframe en met heel veel CPU's onder de grond in hun bunker laten plaatsen voor het doorrekenen van weermodellen, kostte iets van 27 miljoen gulden.

[Skull_One]

Beetje off-topic maarre... dat rekenen gaat volgens mij niet best... ze zitten er zo vaak naast *L* Nee, geef mij maar die spreekwoordelijke boer die met één oogopslag ziet wat het gaat worden. Vervolgens moet men het KNMI verplichten te gaan rekenen... zit er toch weer een 'link' met die boer in...

[Verwijderd]

cool hoeveel kost ie???WTF?? wat moet je nou met 4gb ram!!!!

[Verwijderd]

Nou, het is algemeen bekend, dat bij renderen, en photoshop enzo, veel intern geheugen geen overbodige luxe is, omdat dit geheugen sneller is dan de HD, waardoor er dus rendersnelheid wordt gewonnen

[Verwijderd]

de servers worden niet gebruikt voor Photoshop...... wat een onzin.
Renderen en Photoshop heeft geen fluit met elkaar te maken. Renderman en Pixar heeft met 3D animaties te maken, niet met foto editing. Lijkt me uberhaupt stug dat Photoshop 4 Gig kan aanspreken, zonder zwaar in de problemen te komen......

Bij de weg, render processen hangen meer af van processorkracht dan van geheugen (renderen is puur rekenwerk), maar omdat men die dingen gebruikt as renderfarm, zullen er vele processen tegelijk lopen, en dat zal wel een en ander aan geheugen nemen. Daarnaast as je zware machines wil, is 4x1Gb wel zo stoer niewaar? Geld speelt blijkbaar niet zo'n grote rol....

[cc bcc]

Bij de weg, render processen hangen meer af van processorkracht dan van geheugen (renderen is puur rekenwerk), maar omdat men die dingen gebruikt as renderfarm, zullen er vele processen tegelijk lopen, en dat zal wel een en ander aan geheugen nemen.

Bij 3d renderen is geheugen heel belangrijk. 3d scenes/modellen uit kunnen miljoenen polygonen bestaan, textures uit honderden MB's, 2d en 3d shaders die een grote hoeveelheid aan data genereren, enz.
En met effecten als reflectie, transparantie, refractie, shaduwen, radiosity enz. krijg je geheugen verslindende berekeningen.
Check je geheugen gebruik maar eens tijdens het renderen, neemt explosief toe. Ik heb al vaak genoeg "Out of memory" crashmeldingen gehad in win2k.

[Verwijderd]

dit is dus voor cc bcc...

Polygonen aantallen maken niet zo bijster veel uit :

http://www.splutterfish.com/sf/sf_gen_page.php3?page=Tech/Instancing/B razillionPolys&printer=1

430 miljard (430,000,000,000) polys - 450meg geheugen (inclusief dat wat max al gebruikte)
Ze kunnen er makkeliijk een biljoen van maken, maar het wordt zo lastig om ook nog maar -iets- op het scherm te onderscheiden.

En met andere render technologieëen (waarbij je niet zozeer raytraced) kom je al gauw op theoretisch oneindig aantallen polys.

Bitmaps, e.d. maken dan veel meer uit, maar kun je ook dynamisch scalen (net als mip maps, eigenlijk) al naar gelang van hoeveel detail je nodig hebt/wil.

[Verwijderd]

de servers worden niet gebruikt voor Photoshop...... wat een onzin

Staat er toch ook niet ??

dat bij renderen, en photoshop enzo

staat dus dat er voor renderen veel geheugen nogdig is maar dat fotoshop ook veel geheugen nodig heeft...
snap de link ook niet helemaal maar oke

[Verwijderd]

Ja hoor het enige dat ik tijdens 3dsmax tijdens renderen zie stijgen is met PROC.. De 2 Gb geheugen worden nauwelijks aangesproken door dergelijke proggies.. Verklaar dat dan maar..? Als je maar 256 MB hebt tja dan zal het een ander verhaal zijn dan heb je al veel nodig voor alleen het OS en daarnaast een 3D proggie..

[Verwijderd]

ja probeer in caustics in bv cinema4d met 1 light en een halronde reflectie met wat objecten er omheen dan heeft ie voor die caustics in die scene al 700 mb nodig geloof ik

ik had een keer met 4 lights gedaan en alles reflecterend (weinig objecten) 4,5 giga byte

maar dit is beter deze server bank heeft 220 * 4(880 gbyte) he elke server heeft 4 gig en een xeon 2,2

dus dat is nog meer perfecto voor echt renederen

maar ja gewoon photo shop doen is niet nuttig op een server cluster met 880 gig geheugen

met zulke dingen worden films gemaakt enzo en zware berekeningen gedaan (voor bv het leger ofzo (die gasten hebben toch geld genoeg in usa)

ik denk dat je met zo'n ding toystory 1 wel op gewone snelheid kan renederen (30 fps) weet ik niet zeker natuurlijk

[cc bcc]

Het zijn inderdaad effecten als radiosity en caustics die het meeste geheugen gebruiken. En daar heeft 3d max geen last van want dat kan max niet. Polygonen op zich zijn misschien niet zo zwaar, daar heb je gelijk in, maar ingewikkelde NURBS en dynamics wel. Dat je weinig geheugen nodig hebt voor 3d renderen is onzin, ik wordt betaald voor dit werk en ik spreek uit ervaring. Ik ben met je eens dat het heel erg afhankelijk is van de gebruikte technieken. Bioscoop formaat renderen vereist heel veel. Resoluties van 4000x2000 per frame zijn heel normaal in die business.

[SG]

Niet 3Dmax vraagt veel geheugen nee de 3DMAx render Scenes kunnen heel veel memory vragen.

als je een cubus flat shaded rendert heb je ook een geheugen gebruik van niks maar als je een scene zoals van lord of the rings etc draaied waar ontiegelijk meer in zit dan zal je veel geheugen gebruiken.

Als ik 3Dmax gebruik heb ik voldoende aan 128MB intern geheugen.

Render ik iets van een proffesioneel dan heb ik een memory probleem.

[Olaf van der Spek]

En wat voor scenes ben jij aan het renderen dan? Hoeveel mb aan texture gebruik je?

[Verwijderd]

bah... nogmaals voor cc bcc.. 'kWou dat die reply optie 's de juiste pakte

radiosity, caustics reflecties/refracties gebruiken ook niet zoveel geheugen. het probleem is alleen bij de meeste van bovenstaande effected dat je bijna altijd de gehele scène in het geheugen moet hebben. En -dat- neemt wel een hoop in beslag, als je niet over instances praat.
Caustics/radiosity geleid door photons is een ander verhaal - de kd-tree waarin die worden opgeslagen kan vrij hard groeien.

dynamics - ook niet veel geheugen. Da's meer CPU dan geheugen.

NURBS is een ander verhaal, aangezien je daar meestal polygonen maakt waar je ze nodig hebt. Dus je komt al gauw op een hoop polygonen in 1 object te zitten.

Schaduwen - als je shadow maps gebruikt, dan vraagt dat wel een hoop geheugen, afhankelijk van je mapgrootte. Dat is niet veel anders dan voor bitmaps, waarvan ik al zei dat die een hoop geheugen innemen.

2d/3d shaders - afgezien van de shaders die bitmaps e.d. inladen, nemen ze bijster weinig geheugen in. Je spreekt dan meestal over procedurele shaders, en die worden on-the-fly berekend per pixel (of per sample, liever) aan de hand van een hoop formules. Maar die formules + shader switches nemen niet zoveel in beslag.

Nergens heb ik gezegd dat je voor 3d renderen weinig geheugen nodig hebt - ik heb zelfs in een ander nieuwsbericht gepleit voor een solid-state harddisk die uitsluitend bedoeld zou zijn voor tijdelijke opslag (dus veel goedkoper dan permanente solid state opslag) om -juist- deze redenen.
Ook ik wordt betaald voor dit soort werk, en spreek uit ervaring, dus ik heb er ook wel een klein beetje verstand van.
3k en 4k resoluties nemen inderdaad een hoop geheugen in als je ze in 1 groot stuk rendered.
In 3ds max is dat helemaal erg omdat je naar een VFB rendered ( + nog 's een display VFB als je die aan hebt).
Met alleen maar RGB+alpha in 32bit/channel intern heb je het bij 4k dan al over 4096x2730x4chx4bytes ofwel 170.63MB.
Als je dan nog wat G-buffers rendered (wat de meesten wel doen omdat dat het traject langs de post mensen (combustion of inferno, maakt niet uit) een stuk makkelijker maakt) dan kom je al rap op een hoop geheugen voor alleen maar een VFB.

Maar je kan natuurlijk ook distributed renderen, en dan krijgt elk van je rendernodes maar een deel van die resolutie te verwerken. Dat scheelt alweer in geheugen, al gebruik je dan wel weer meer CPU (al is het dan verspreid over meerdere machines).

Anyway.. nogmaals :
ja, renderen gebruikt een hoop geheugen in.. maar bij lange na niet aan al de dingen die je opgesomd hebt.
Als je out-of-memory crash meldingen krijgt, dan ligt dat meestal aan je VFB grootte of aan shadow maps, die een continue klomp geheugen willen want de rest swapt 3ds max met plezier weg naar de harde schijf.
Probeer 's een compleet cleane boot, en i.p.v. max op te starten, de render afvuren met de netrender utility. Dat scheelt een hoop geheugen.

En als je dan toch nog problemen hebt... V-Ray/Brazil r/s *kuch, zelf-reclame* zijn stukken beter dan de scanline renderer (finalRender Stage-0 hangt er tussen in). ExLuna's Entropy is niet meer, helaas, heeft NVidia uitge

genoeg getypt... 'kMoet nog wat dingetjes debuggen voor 1.0, en de rest hang op Siggraph rond

[Max|IA²]

Al kregen we die gratis, kunnen we de elektra niet betalen.

edit: dit is reactie op Action Hank.

[Verwijderd]

Oeps, dubbel post, sorry

[Verwijderd]

In het artikel staat dat er 64 processoren in een kast gaan. Elke systeem zit in een 1U-kast. Er kunnen dan dus 32 servers in een kast. Dan blijven er bij een normale kast nog 10U over. Zouden ze dan in elke kast nog es een eigen UPS zetten of zouden ze gewoon om de zoveel servers ruimte laten tbv koeling? Of moeten dit allemaal bladeservers zijn zodat er 32 blades in een "rack" gaan?

[TD-er]

Ik weet niet hoe het zit met het netwerk verkeer, maar zou je niet ook een of meerdere switches in een rack plaatsen. Dat kost denk ik ook wel 1 a 2 U hoogte.
Verder vind ik 1u hoogte nogal laag, voor een kastje met 2 van die hitte-producerende dingen erin (aka. CPU's) en ben je dan niet ook nog eens extra geld kwijt aan dimm's die en 1GB zijn en in 1U kastjes passen? of liggen ze in dergelijke kastjes onder een hoek?

[Skull_One]

Oei, ik weet niet wat voor voeding in zo'n 1U kastje moet, maar neem even 200 Watt (het is dual, dus je moet wel wat vermogen hebben). Stel dan dat je 32 in een rack plaatst dan heb je 32 x 200 W = 6400 W nodig, * 1.4 = ~ 9000 VA UPS nodig... Die past niet in een 2U kastje... Ik denk dat die UPS-en, als ze die al hebben, totaal anders geïmplementeerd zijn, meer van die hele grote dingen met lijntjes naar de Racks toe. Die 2U die je over hebt zullen eerder, zoals TD-er zei, voor een switch gebruikt worden.

Ze zullen dan iets uit dit lijstje moeten hebben: http://www.apc.com/products/

En natuurlijk een generator in een apart gebouwtje ernaast die na een minuutje zelf opstart o.i.d.

[Verwijderd]

Ik vraag me af wat er met de servers na Lord Of The Rings gaat gebeuren. Ik neem aan dat het bedrijf niet doodgegooid wordt met orders!!!

[tweakerbee]

Het lijkt mij dat LOTR juist geweldige reclame is voor dit bedrijf

[paella]

LOTR 3 zal geen dag eerder verschijnen alleen...

[Garfield]

Dat is nog eens RC5 power!!

[zork]

Hele originele reactie

Zoek de nieuwsberichten over renderfarms en andere clusters eens op en kijk eens naar de eerste reacties

[NitroX infinity]

Volgens het artikel zijn de werknemers dermate fanatiek dat sommigen van hen zelfs op zondagochtend rond half zes op hun werkplek zijn te vinden.

Vind je 't gek. Als ik in zo'n renderfarm zou werken zou ik daar elke dag te vinden zijn

[Verwijderd]

half 6 pas enwa t is er vreemd aan om op zondag ten werken . Maar datis nog eens rekenkracht. kan je in je eentje een topteam voor eccp beginnen . ok.

ik denk dta die films van tegenwoordig toch wel wat eisen aan graphics als ik dat zo lees. allemachtig ze kopen rekenbeesten als kauwgompjes. dikke portemonee dus. nouja resultaten zullen we zeker te ZIEN krijgen. en wee hun gebeentje als het ondermaats is >