Google bouwt 4000-node Red Hat Linux cluster

Techweb heeft een artikeltje gepost over de Linux boerderij die momenteel door de mannen & vrouwen van Google in elkaar getimmerd wordt. Dit supercluster bestaat uit maarliefst 4000 nodes, die elke Red Hat Linux draaien. Google meent al de kracht nodig te hebben vanwege de nogal heftige 'hypertext analyses' die zij op hun zoekmachientje loslaten:

Search engine Google has deployed 4,000 Linux servers, with plans to increase to 6,000 this year, making it possibly the largest Linux installation in the world.

Google said it turned to Red Hat (stock: RHAT) Linux primarily because of the cost. The OS itself costs nothing, compared with $500 to $900 per server for Windows servers.

[...] "The hypertext analysis is computationally expensive," said Sergey Brin, founder and president of Google.com. "We need to have an efficient system for doing that. That's why we use a lot of cheap PCs. It's a cheaper platform. The dollar per MIPS is better for PCs."

Thanks Martin Sturm voor de link.

Reacties (16)

[RobzQ]

Het is alleen wat lastiger onderhouden (hardware zeker) als een paar dikke vette mainframe's.
Hoe meer draaiende delen hoe groter de kans dat er iets kapot kan gaan.
Of zouden ze dan toch geen hd's hebben in iedere pc maar van een storage beest (bv emc) gebruik maken? Laatste lijkt me wel zo

[Verwijderd]

rode hoet is toch wel leuke linux maar ik denk als ze dit proberen met een nt/w2k versie dat dit systeem minder stabiel is omdat ze ook nog problemen hebben als ze de software wat moeten aanpassen om alle systemen optimaal te laten functioneren. Dat is erg makkelijk aan linux en dat voordeel heb je ook niet bij unix en linux is dan ook nog is goedkoper. Maar als je iets wil/moet aanpassen bij linux is het wel makkelijk als je ook weet wat je doet ;-)

[Verwijderd]

Ik ben eigenlijk wel benieuwd wat voor systemen ze daarvoor gebruiken. Lijkt me sterk dat het allemaal p3 800 machines zijn. lijkt me enigszins overkill.

Het is echter wel opzienbarend om te lezen hoe pagina's worden gerated:

Google ranks the importance of a target Web page by determining how many pages link to that page, and how important the Web pages are which link to the target page. It also uses hypertext analysis to determine where on a Web page a keyword is located


Hij schijnt als ik het goed begrijp je hele site af te spitten en hoe dieper je de site induikt, des te minder belangrijk worden de keywords op die pagina gerated? of is het zo dat als ik mijn pagina vol zet met links naar cnn.com (een belangrijke site, of beter nog: tweakers.net), dat ik dan bovenaan ELKE zoekopdracht verschijn?

wat ik overigens wel cool vind is dat de lokatie van een keyword op de pagina van invloed is op de importantie van dat keyword. vandaar waarschijnlijk ook die zwaarte van het cluster: ze lezen niet de platte coderingen, maar vertalen die ook naar een fysieke website!

strakke manier van inventariseren

[Verwijderd]

paz: een website wordt gerate aan de hand van hoeveel websites er naar toe linken.

zoek jij op "insidex" en linken er 10 websites naar www.insidex.net en 9 naar rrm.net dan staat insidex.net boven rrm.net

[Verwijderd]

</div><div class=b4>
Het is alleen wat lastiger onderhouden (hardware zeker) als een paar dikke vette mainframe's.
</div><div class=b1>
Het zal wel ook iets te maken hebben met de soort gegevens. Doordat er natuurlijk allerlei websitejes moeten worden geindexeerd kun je elk clusterlid zijn gang laten gaan, een groot centraal systeem levert dan ook minder op. Als je nu een database server hebt of zo kun je beter zoiets als de Unisys ES7000 nemen. Dat zijn tenminste leuke appraatjes.

Hoe zouden ze dit rekencluster eigenlijk managen, zal toch wel wat overhead geven?

Wim
--

www.win2kwereld.nl

[Verwijderd]

In Linux Journal van deze maand "The cutting edge" staat een verhaaltje over Linux op een IBM S/390. 41.400 linux machines op een S/390!
Kost wel een zee container vol met florijnen (de schrijver zeg zo'n US$600.000).

izzy

[Verwijderd]

Die lui moeten DPC helpen.

[Speedtracer]

ooohh, zo iets heb ik ook in het tuinhuisje staan.

[Verwijderd]

die hebben zeker dat stukkie gelezen over de cluster bij de universiteit van Kentucky en gedacht hebben: "hmmm.... wat zij kunnen kunnen wij ook, maar dan een heeeeeeeeeeeel stuk beter"

[wzzrd]

Dát noem ik nou geil!