Details over 'Horus' voor 8-way- en zwaardere Opterons

Op de Hot Chips conferentie heeft Newisys de Horus-chipset gepresenteerd. Computer Business Review was erbij en heeft de presentatie samengevat. Zoals we al eerder berichtten kan met behulp van deze nieuwe chipset een 32-way Opteron-systeem worden gebouwd dat bestaat uit acht 4-way Opteron-systemen.

Cluster of geen cluster?

Op het eerste gezicht lijkt het erop dat de Horus-chipset niet veel anders doet dan het clusteren van acht systemen, want net als in een cluster kunnen met de chipset tot acht systemen met elkaar verbonden worden om een systeem te vormen. Hier houdt de vergelijking echter op. In een cluster draait namelijk elk systeem zijn eigen besturingssysteem met een speciale API (application program interface) om met de andere systemen te communiceren. Met de Horus-chipset worden echter de 4-way servers op zo een manier met elkaar verbonden dat er één geheel ontstaat. Hierop draait één besturingssysteem dat de beschikking heeft over alle 32 processors en het beschikbare geheugen als een geheel ziet. Dit principe heet NUMA (non-unified memory access) en wordt ook in enkele systemen van onder andere Sun, IBM en Unisys toegepast.

64MB L3-cachegeheugen

Een van de problemen van een NUMA-architectuur is de vertraging die optreedt als een processor van een 4-way Opteron-systeem gegevens nodig heeft uit het geheugen dat zich op een van de andere zeven systemen bevindt. Als deze vertraging namelijk te groot is, dan moet hier in het besturingssysteem en in de software rekening mee worden gehouden. Een van de oplossingen om deze vertraging te verkleinen die Newisys heeft toegepast is het toevoegen van een L3-cachegeheugen van 64MB. Het is trouwens niet duidelijk of Newisys elke Opteron-processor heeft voorzien van 64MB L3-cachegeheugen, of dat ze ervoor gekozen hebben om elke cel of het totale systeem hiervan te voorzien.

Het bijhouden van wat waar in welk geheugen en in welk cache staat, betekent echter wel dat er flink wat informatie tussen de verschillende cellen moet worden uitgewisseld. Dit zorgt op zijn beurt weer voor vertragingen in het systeem. Het is dus belangrijk om dit soort communicatie tot een minimum te beperken. Gelukkig was AMD bereid om Newisys hierin te helpen. De eerste exemplaren van de Horus-chipset zullen begin 2005 uit de fab komen. Het zal echter tot eind 2005 duren voordat de eerste servers met de Horus-chipset op de markt zullen verschijnen.

Reacties (23)

[Verwijderd]

Weer een stap dichter naar het graf van de Itanium als processor voor midrange servers ?
Ik ben benieuwd hoe al dit processor geweld gaat schalen

[Verwijderd]

De Itanium is niet echt bedoeld als cpu voor midrange servers... meer high-end servers grote clusters enzo.

Maar toch komt de Opteron aardig dicht in de buurt van de Itanium, voor een veel lagere prijs, ik denk dat dit idd behoorlijk anti-goed is voor intel.

[Squee]

Ik denk ook niet dat je bij een 32-way Opteron systeem (of straks 64-way als de dual-core versies beschikbaar zijn) nog kan spreken van een "Mid-range" server

Dus dit is precies waar het de Itanium zal raken, in het High-End segment waar Intel zijn processor altijd in geprofileerd heeft...

[Niles]

Ik denk ook niet dat je bij een 32-way Opteron systeem (of straks 64-way als de dual-core versies beschikbaar zijn) nog kan spreken van een "Mid-range" server

De Itanium komt er ook in dual core, kijk hier oa maar eens. En er staat me zelfs al iets bij van een quad-core maar daar kan ik me in vergissen (edit: idd: multi core komt ook maar staat pas gepland vanaf 2e helft 2006 . En persoonlijk vindt ik het een wazige actie waarom iedereen met de Itanium aankomt. Dit heeft niks met de Opteron te maken, maar met datgene wat het aanstuurd, deze nieuwe chip dus. Als er zo'n zelfde voor de Itanium gemaakt wordt zijn we weer evenver. Door dit is de Opteron niet ineens 'sneller' geworden ofzo.

[TD-er]

niet dat de opteron sneller is, maar het is zeker een leuke verbetering dat 'ie een stuk interesanter is voor de grote servers en dus een directe concurrent voor de tegenhanger van Intel is geworden in dit segment.

[Verwijderd]

En persoonlijk vindt ik het een wazige actie waarom iedereen met de Itanium aankomt. Dit heeft niks met de Opteron te maken.

Itanium en Opteron hebben meer met elkaar te maken dan je denkt. Supercomputers op basis van de Opteron bestaan al. Opteron clusters worden door meer en meer bedrijven en overheid instellingen zoals Sandia gebruikt. Onlangs werd weer een order geplaatst voor een Opteron supercomputer. En deze zal later worden uitgebreid met dual core Opterons.

http://news.com.com/Sandia+supercomputer+to+get+dual-core+Opterons/210 0-7337_3-5289251.html?tag=nefd.top

[t-h]

Ik denk ook niet dat je bij een 32-way Opteron systeem (of straks 64-way als de dual-core versies beschikbaar zijn) nog kan spreken van een "Mid-range" server

ik denk dat je dan wel degelijk nog kan spreken van Mid-Range server. De eisen van een server gaan natuurlijk ook steeds verder omhoog dus als die processor dan opeens sterker is zal hem zeker niet opeens tot de High-End markt doen promoveren.

[Verwijderd]

Als het feit dat ze in supercomputers gebruikt worden een criterium is dan is de IBM Power5 vast ook een directe concurrent van de IBM PowerPC of....

Je kan op meerdere manieren een bepaalde prestatie halen, een paar krachtige chips of veel minder krachtige chips. Echter, de meeste mensen gebruiken geen supercomputer. Gewone 2 en 4 weg opterons zijn geen echte concurrent voor de Itanium net zoals de Power5 geen rechtstreekse concurrent van de PowePC chips is. De Itanium heeft al genoeg echte concurrenten (Power5, Alpha e.d.) zonder dat de Opteron erbij gehaald moet worden. De opteron is een goede concurrent van de Xeon, de Athlon 64 is een goede concurrent van de Pentium 4. Met een beetje creativiteit kun je hier nog de G5 bijhalen maar de Itanium zit qua prijs en prestatie op een ander niveau.

[hardwareaddict]

>De Itanium is niet echt bedoeld als cpu voor >midrange servers... meer high-end servers grote >clusters enzo.

Het tegenovergestelde is juist waar. Voor applicaties die goed op clusters draaien is een opteron supercomputer veel goedkoper.

Vergelijk het prijskaartje van een 64 processor SGI systeem die met snelle itanium2 processors erin zo'n $1 miljoen kost (one way pingpong) latency van zo'n partitie, zie www.sara.nl is 3-4 microsecondes

En vergelijk dat met Cray opteron supercomputers waar de latency 1.5 microsecondes is. Die kost rond de 40000 dollar per node en 1 node heeft 12 processors. Laten we zeggen 50k dollar met routers erbij.

Dus voor 1 miljoen dollar koop je een 300 processor Cray systeem.

Dat levert dan per opteorn processor 4.8Gflop.
4.8 * 300 = 1.44 tflop.

het itanium2 equivalent levert : 6 * 64 = 0.384 tflop

Kortom, de opteron is voor grote supercomputers goedkoper en sneller.

Overigens als je een IBM opteron cluster wilt hebben, maar die hebben dan net als die SGI zo tegen de 4 us latencies, wat een groots nadeel is, dan krijg je nog wel vet meer processors als 300 voor 1 miljoen dollar.

>Maar toch komt de Opteron aardig dicht in de >buurt van de Itanium, voor een veel lagere prijs, ik >denk dat dit idd behoorlijk anti-goed is voor intel.

Opteron systemen zijn erg goedkoop in vergelijk met itanium2 systemen.

Zie bijvoorbeeld bovenstaand rekenvoorbeeld.

[Verwijderd]

wat is er zo bijzonder aan deze horus chipset behalve dan dat de amd opteron processor ondersteunt wordt?

is dit een bedreiging voor de itanium en power5 systemen?

dat lijkt me onzin, want ibm levert (nu!) ook al 32 way intel xeon systemen door gebruik te maken van een eigen chipset. de server heet x445 en kan tot 32 xeon processoren schalen dankzij de 2nd generation ibm enterprise x architecture.

http://www.pc.ibm.com/us/eserver/xseries/x445.html

is de xeon dan dus ook een bedreiging voor de itanium en de power systemen? het is leuk spul hoor die amd64 processoren maar soms krijgt het mijns inziens iets te veel aandacht van de heren tweaker redacteurs.

edit:
@osiris
over verschil tussen amd64 en itanium2/power...

voorlopig wordt de opteron voornamelijk gebruikt als een 32 bits processor; een k7 met interne memory controller en hypertransport eigenlijk... 64 bits applicatie support is niet beschikbaar. misschien een verdwaalde 64 bits linux distributie maar toepassing hiervan is zeldzaam in business.

64 bits power en EPIC daarentegen draaien ook echt 64 bits software. zowel windows als AIX is 64 bits en 64 bits business applicaties zijn in ruime mate beschikbaar en worden professioneel ondersteund.

voorts bieden de EPIC en power5 natuurlijk fail safe en partitionerings functionaliteit die de amd64 processor moet ontberen. de opteron is feitelijk een amd64 consumenten processor met coherent hypertransportlinks...

kortom er is nogal wat af te dingen op de toepassing van een consumentencore als de k8 in corporate zware server omgevingen...

[Verwijderd]

dat lijkt me onzin, want ibm levert (nu!) ook al 32 way intel xeon systemen door gebruik te maken van een eigen chipset.

Op de korte termijn is dat natuurlijk nog geen bedreiging, wel op de lange termijn. Tegenwoordig gaat alles om de prijs/prestaties verhouding.

En 32way Xeon systemen kan je natuurlijk niet vergelijken met 32way Opteron systemen. De Xeon MP blijft verlopig 32bit en de Opteron presteert en schaalt over het algemeen beter dan de Xeon. Dus de benchmarks zullen het moeten gaan uitwijzen.

En ik denk niet dat IBM of HP een 32way systeem gaan ontwikkelen op basis van de 64bit Xeon of Opteron, dat zal zeer zeker gevolgen hebben voor hun eigen processorlijn. Zoals ik al zei, tegenwoordig gaat het om de prijs/prestatie. Wat kan een 64bit RISC or EPIC processor wel en een 64bit x86 chip niet ?

[hardwareaddict]

De AMD krijgt meer aandacht simpelweg omdat er meer over te melden valt. Die itanium2 is al sinds een jaar of 2 op 1.5Ghz geklokt en zelfs een peanut sprongetje van 0.4 Ghz zal nog wel enige tijd op zich laten wachten. Ik meen eind 2005. Dus begin 2006 is dat dan op zijn vroegst verkrijgbaar.

Itanium wordt nu heel slecht verkocht, ver onder de maat. Maar wordt wel verkocht in de highend. Met name omdat een paar jaar geleden niemand nog iets wist over de power5 laat staan opteron.

Het is duidelijk dat IBM de grote opdrachten heeft binnengehaald. Alle systemen boven de 10000 processors worden ibm power systemen.

Dat is mogelijk zo omdat die chip erg goed is in floating point en de opteron natuurlijk iets minder goed is in floating point, terwijl al die grote systemen natuurlijk geniaal zijn om dingen als grote kernexplosies uit te rekenen en zonder uitzondering voor dat type software en FFT/DFT analyses worden ingezet.

Zo'n systeem krijgen we ook in Dwingeloo te staan met maar liefst 12288 processors. 6 racks x 2048 processors in totaal.

Die ibm processors zijn zwaar boud op integer gebied. Let wel in dingen als FFT heb je gekke functies nodig als sinus en cosinus en soms ook dingen als modulus voor encryptie software.

Die instructies zijn beretraag op processors. Dus de IPC (instructions pro cycle) van zo'n processor ligt per definitie erg laag.

Zo nam ik onlangs de GMP rekenset tot mij en rekende uit dat voor een FFT deze rond de 70 cycles per instructie nodig had. Let wel *theoretische* instructie uit die O( n ) berekeningen, die dus in werkelijkheid 70n werden, wat zwaar tegenvalt natuurlijk.

Kortom een processor als de power is voor integer rekenwerk, welke gebaseerd is op supergeoptimaliseerde commerciele software, die niet 70 cycles per instructie doen maar eerder 2 instructies per cycles; voor dat type rekenwerk is de power een enorme boudprocessor.

De opteron, die dus enorm veel gflop per dollar effectief levert en vaak veel meer als andere processors, zal dus practisch gesproken juist in het serversegment enorm goed gaan doen.

Niet in de laatste plaats omdat Sun hem ook verkoopt en er kant en klare oplossingen voor maakt. Sun is de marktleider in de serverwereld.
Hebben rond de 33% van de hele markt in handen.

Als er nu dus chipsets en oplossingen komen die concurreren met de 8-32 way Xeon systemen, dan is dit natuurlijk reuzemooi voor de consument.

Van die Xeon werden er veel meer verkocht als itaniums, powers en fujitsu vector processors bij elkaar natuurlijk. Dus die markt is vreselijk belangrijk voor AMD.

Laten we hopen dat Cray wat XD1 systemen gaat slijten het komende jaar, zodat we ook een vergelijk gaan krijgen tussen de powers en opteron supercomputers.

Zo'n power5 speelt natuurlijk op al die tests reuze vals door gebruik te maken van de L3 cache van andere processors.

Dus als je 1 power5 cpu test dan in werkelijkheid gebruikt hij ook de unified cache van de overige processors.

Dat is niet echt fair.

Op grond daarvan verkoopt die power5 wel als een broodje...

[Verwijderd]

is de xeon dan dus ook een bedreiging voor de itanium en de power systemen? het is leuk spul hoor die amd64 processoren maar soms krijgt het mijns inziens iets te veel aandacht van de heren tweaker redacteurs.

Niet vergeten dat de opteron VEEL beter schaalt als de xeon.

1 cpu - even snel (ongeveer)
2 cpu - opteron stuk sneller
8 cpu - opteron aanzienlijk sneller
32cpu - opteron gigantisch stuk sneller

[Verwijderd]

De Itanium is niet echt bedoeld als cpu voor midrange servers... meer high-end servers grote clusters enzo.

Er bestaan ook dual Itanium 2 wokstations en servers, dus het klopt niet dat Itanium daar niet voor bedoeld is. Intel is zelfs van plan om de Xeon en Itanium socket compatible te maken.

Het wachten is op de eerste 16/32way Opteron benchmarks, als die goed zijn dan heeft intel echt een probleem.

[Verwijderd]

Doelde met midrange meer op de niet 400 CPU's of meer tellende monsters uit de Top 100 supercomputers , wellicht een bellaberde woordkeuze maar ja.

[Verwijderd]

In ieder geval heeft ie z'n naam niet gestolen wat betreft de doelstelling..

[-=unicron=-]

Er zit dus geen level 3 cachegeheugen in de CPU, Anders is de CPU niet te betalen.

Newisys has added a 64MB L3 cache to the Opteron architecture.

Er zit op het moederbord iets van cachegeheugen of zo.

Ik heb ooit een keer zo moederbord gezien, dat was een ziff Socket 7 super bord ? met L3 cache van 512kb of 1MB ? voor AMD CPU's maar dat weet ik niet meer zeker.

[Vorlon]

Socket 7 en lager hadden zowieso de l2 cache op het moederbord zitten. (Een amd k7-2+/3 heeft al l2 on-die cache dus daar wordt de l2 op het mobo l3 genoemd)

[hardwareaddict]

het is heel normaal dat in routers cache zit hoor.

we kunnen die chip natuurlijk als een soort van geavanceerde router zien...

[0siris]

en wie is de vader van Horus? Precies, Osiris

[hardwareaddict]

Zo genoeg geleuter over die chip zou ik willen zeggen tegen newisys. Laat eens een systeem zien en zijn performance. Dat wordt de hoogste tijd!

[_Thanatos_]

Juist, dan staan er 31 cpu's uit hun neus te vreten, terwijl er eentje tijdens het quaken haar nagels kan lakken.