Grote storing treft internetknooppunt Amsterdam

Bij WebWereld lezen we dat de Amsterdam Internet Exchange (AMS-IX) vanochtend last heeft gehad van een storing. Bij dit belangrijkste internetknooppunt van Nederland zitten veel providers aangesloten, die allemaal problemen door de storing ondervonden moeten hebben. Niet iedereen zal evenveel last gehad hebben, maar van vervelende vertragingen zal zeker wel sprake zijn geweest, aldus een woordvoerder van de AMS-IX. Doordat de boosdoener - een switch - rond drie uur gereboot werd zonder eerst de oorzaak te bekijken, zal deze waarschijnlijk niet meer te achterhalen zijn:

Rond drie uur waren de problemen verholpen. "We hebben de switch uiteindelijk ge-reboot", aldus Vijn. "Het is daardoor niet duidelijk of we kunnen achterhalen wat het probleem was. Het is hetzelfde als met het rebooten van een pc. Dan weet je vaak ook niet wat er mis is gegaan." De AMS-IX is een van de grootste internetknooppunten ter wereld. Er bestaat nergens ter wereld een exchange met meer aangesloten partijen.

Reacties (70)

[MisterData]

Ik snap nog steeds niet dat zo'n belangrijk punt in het Nederlandse Internet er zomaar onderdoor kan gaan. Ze hebben toch op z'n minst backup switches? Zo'n knooppunt moet toch redundant zijn lijkt me. Ook al na de storing van vorig jaar November ga ik ze als consument niet meer vertrouwen eigenlijk

[Floor-is]

AMS-ix is een stichting, een non-profit organisatie die zo goedkoop mogelijk haar diensten aanbiedt.

Wat het zo goedkoop maakt is het gebrek aan redundancy, de zeer summiere opzet qua power, UPS etc. etc.

Met 4 grote Foundry machines zou je denken dat je alles wel eenvoudig kon beheren, maar de 2 mensen die de stichting AMS-ix in dienst heeft hebben hun handen vol aan het beheer van de machines en het oplossen van alle troubles die hier uitvoorkomen.

Gisteren is een 10GB poort die de verbinding tussen Sara en Nikhef verzorgt op zijn tater gegaan. Sara en Nikhef waren derhalve ook de 2 grootste probleempunten.

[Olaf van der Spek]

Waarom niet? Als je als ISP zekerheid wil kun je zorgen dat je netwerk op meerdere punten is verbonden met internet.

[PolarBear]

Wat ik dus wil weten welke locatie ligt er uit ? Ze hebben geloof ik 4 locaties en een beetje grote provider heeft verbinding met meerdere locaties. Bijvoorbeeld @Home hangt zowel aan de nikef als sara.

[Verwijderd]

Uiteraard is het amsix-knooppunt redundant. Er staan drie van die apparaten, allemaal op verschillende locaties.

Het is dus zeker niet zo dat als er iets gebeurd (brand ofzo) dat meteen het hele amsix-knooppunt platligt. Wel is het zo dat als een router storing geeft, maar dus nog wel signalen dat ie leeft, dan wordt er denk ik niet automatisch gererout op de andere locaties.

[TheBrain]

In ieder geval is de traffic op de AMS-IX grafiek helemaal naar 0 dus ook al is het zaakje redundant opgezet, de backup faciliteiten zijn niet opgekomen.

[Verwijderd]

de routing stond te klapperen, niet de switch zelf

[NiGeLaToR]

De reden dat eea er even uit lag was heel eenvoudig.. de verbinding met de instabiele lijnen werd eruit gegooid waarna het even duurt voordat die lijnen automatisch geherouteerd worden over de andere switches. Gewoon dagelijkse kost bij Sara dus

En waarom het niet werkte? Tjah, waarom werken dingen niet..

[Verwijderd]

Ik vraag me nu af of ze daar geen syslog gebruiken

Bij ons in het rekencentrum hebben we een netwerk met o.a. een 10-tal Cisco 6500's, en elke link die down gaat of andere mogelijke problemen wordt gelogd op een server en is vanaf elke werkplek te volgen. Als er zich dan een probleem voordoet kijken we als eerste in de logging, vaak wordt dan al duidelijk wat er aan de hand is. (tipje ).

In de grafiek van de post hierboven zie je al een hikje rond 10:30, waarna om 11:30 de boel voor de eerste keer instort. Dat moeten ze toch gemerkt hebben. Daarna hadden ze dus 3 uur om uit te zoeken wat er precies aan de hand was.

Aan de andere kant, soms willen die dingen gewoon niet meer zonder aanwijsbare oorzaak en is booten de enige oplossing, maar dan zou ik wel gaan uitkijken naar vervanging. Die BigIrons zijn er volgens mij nog niet zo gek lang dus zal er wel garantie op zitten (hey, Carol? )

[DuLaC]

Ik denk dat je ze dat echt niet hoeft te vertellen bij AMS-IX. Vraag me uberhaubt af of, wanneer ze weten wat het probleem is,ze dit bekend zullen maken...

Het is toch bekend dat Foundry Networks routers niet de meest geweldige en stabielste apparaten zijn...

[Verwijderd]

Dat ding is echt stoer
http://www.ams-ix.nl/graphics/BigIron8000.jpg

[Floor-is]

Big Iron8000 van TrueServer

Het plaatje van de Foundry BigIron8000 van de AMS-ix is leuk, maar een opzet zoals hierboven is volgens mij nog net een tikkie heftiger

56x 1Gbit fiber
24x 100Mbit FE
Totaal: 58,4Gbit switching power

[zeroxcool]

Zitten de 100MBit aansluitingen bij de Foundry van TrueServer aan de achterkant?

[jep]

Nee, rechts. Goed kijken!

[j_bos]

Big Iron8000 van TrueServer

Zit je daar met 1 pakketje tieribs, toch een beetje jammer....

[jep]

Waar halen ze die dingen bij True toch altijd vandaan .

[tvdleur]

Valt wel mee... de grotere switches hebben alleen maar oranje (glasvezel) eraan hangen en dan nog in 8 kabels van 10 cm doorsnee samengebonden.... tenminste in mijn bedrijf wel (5500 + werknemers). Vind dit een beetje jammer eigenlijk voor de AMS-IX. Ze hadden die best wel redundant kunnen uitvoeren.

[shades]

Wordt er ook niet echt opgewonden van hoor..
Ons serverhok heeft veel meer lampjes en glas aansluitingen...

[AMDFreak]

w00t, rounded cables

[KHdV]

Ja en wie gaat al die backup switches betalen ??

De gene die er belang bij hebben dat het net in de lucht blijft. En dat zijn er genoeg denk ik zo.

[[]InTeR[]]

Onse hosting provider zat ook bij deze backbone (o.a. intouch), wij hebben helaas de hele dag problemen met het veranderen van routes en tijdelijk helemaal onbereikbaar.

Mischien niet een direct gevolg, maar het zal er waarschijnlijk wel mee te maken hebben.

[MAZZA]

http://www.ams-ix.nl/hugegraph.html

Daar kan je duidelijk de inzinking in het dataverkeer zien rond 12 uur deze middag. En in het grafiekje eronder zie je de enorme groei die de AMS-IX heeft doorgemaakt het afgelopen jaar. Ongelofelijk hoeveel data dat voor de kiezen krijgt.

Dat geeft natuurlijk ook aan hoe belangrijk het is dat hun netwerk in de lucht blijft. 's Werelds grootste IX qua aansluitingen. Dat KAN weleens buggen.. Maar echt fijn is het niet.

[Verwijderd]

Ja en wie gaat al die backup switches betalen ??

[jep]

Wel eens uitgerekend wat die lui binnen krijgen aan contanten? Geen kattepis.

[B-J-B]

AMS-IX is een non-profit organisatie.

[Krankenstein]

Maar niet genoeg om allemaal backup hardware van miljoenen aan te schaffen denk ik. Anders hadden ze dat wel gedaan. Ze stoppen het geld in meer bandbreedte ipv redundancy blijkbaar.

Maar idd 2x eruit binnen 1/4 jaar is wel wat veel voor de internet-oprit van half Nederland

[Cergorach]

Het spijt me hoor, maar wat is dit voor ongein? 2x eruit in een kwart jaar vind ik reuze meevallen want we hebben het niet over uren niet bereikbaar, maar alleen maar wat vertraging. Ik wou dat ISPs zo betrouwbaar waren!

[Floor-is]

Cergorach: vraag me dan toch af welke ISP jij het over hebt eerlijk gezegd. En gaat het dan om een accessprovider of een bandbreedteleverancier?

Ik zie dat er veel partijen zijn die weliswaar vertraging hadden door de problemen van de AMS-ix de laatste tijd, maar nog steeds heel prima bereikbaar waren. Eerlijk gezegd denk ik dat als je jezelf zo afhankelijk maakt van een partij als de AMS-ix, je niet echt professioneel bezig bent. Een dergelijke afhankelijkheid geeft je als ISP een enorm zwak punt in de opbouw van je netwerk.

[Cergorach]

Floris: verschillende, A2000/UPC/Chello, zonnet, en zelfs XS4all liggen er vaker uit dan 2x per kwartaal

[Verwijderd]

hmmm, uptime van 99.9% betekend 8:45 uur down per jaar. vind ik wel redelijk redundant.

[The Source]

Sluit niet uit dat ze geen contanten binnenkrijgen.

[Floor-is]

Voor Jep:

Wel eens uitgerekend wat een 10GB poortje kost en wat die verbindingen tussen de verschillende locaties kosten? Die grapjes zijn ook niet bepaald gratis

[jep]

Interface koop ik inderdaad niet van mijn zakgeld . Die fibers zijn van Level3, als ik me niet vergis. Hoeven ze dus niet aan te leggen. Toch kan ik me niet voorstellen dat die lui niets over houden. Denk je wel? Is maar gissen natuurlijk

[cybermans]

val wel mee hoor wat het kost om op AMS-IX aangesloten te zijn. En daar en tegen de kosten van het zakie om het te laten lopen zullen niet erg laag zijn. Zon switch die daar staat zal ook niet zon goedkoop huis/tuin/keuken ding zijn zoals jij hebt thuis staan

[SED]

What makes AMS-IX unique?
AMS-IX is a non-profit, neutral and independent association, meaning that it has no bias as to who connects (provided they meet the membership criteria) and it's operational decisions are not directly influenced by any financial gains.
Being a internet exchange since 1994 has provided AMS-IX with a wealth of industry related knowledge and an unparalled reputation within the internet world. Our uptimes can be viewed HERE.

With currently over 130 internet related companies connected to AMS-IX, it makes peering possibilities within the Netherlands and Europe extremely attractive. The Current Aggregated Traffic Volume of all AMS-IX connections now amounts to some 2.880 TBytes per month (November 2002) yielding a monthly average load of some 10 Gbit/s!

Who is connected to AMS-IX?
At present all major Dutch ISPs and many international ISPs (especially from the United States, the United Kingdom, Germany, Belgium and the Nordic countries) have established connections with AMS-IX. Organisations such as RIPE NCC and NL Domain Registry System, have also decided to become members of AMS-IX. A look at the List of Members page will inform you of who is actually connected to AMS-IX and what their peering policy is or a link to find out more about their policy.
What is the AMS-IX infrastructure?
AMS-IX is a distributed exchange, currently present at four locations in Amsterdam, co-locate facilities are available at all locations.
The current equipment of AMS-IX consists of ethernet switches at each location, interconnected by Gigabit Ethernet over dark fibre. ISPs are connected to AMS-IX, either using half-/full-duplex for 10BaseT or 100BaseTX or full-duplex for 1000BaseSX.

The configuration of AMS-IX consists of a Foundry Networks BigIron switch with resilient power supplies at all of the AMS-IX locations. Each switch is equipped with multiple interface boards with 10BaseT/100BaseTX and 1000BaseSX ports.

The current set-up of AMS-IX is visualized in a Topology Map.

[KnEuTeR]

misschien was het zelfs wel een (D)DoS atack, maar dit hebben ze gewoon met een smoesje verzwegen, omdat ze denken dat andere mensen het ook gaan proberen, nu ze weten dat je met een DDoSje even heel internet in nederland plat kan leggen....

[itris]

nou zo'n switch ddos je niet ff zomaar hoor...
zo'n ding trekt een paar honderd gigabits/sec, dus daar moet je bovenuit wil je'm plat krijgen. en dat soort links zitten er niet op dus.... lijkt me heel sterk.

stel dat je 5 1gbit links vol zou kunnen krijgen met dos data (da's al heel moeilijk om voor elkaar te krijgen) dan zou die dat nog gewoon aan moeten kunnen.

[KnEuTeR]

ze hebben anders ook een paar van de DNS root-servers platgekregen, lijkt me ook niet dat die op plastic noname hubjes draaien

linkje:
http://www.tweakers.net/nieuws/23924

nofi ofzo, ik denk juist zelfs dat jij gelijkt hebt

[Verwijderd]

Die DNS root servers hangen aan niet meer dan 100 Mbit lijnen, dus die zijn een stuk makkelijker vol te krijgen dan de AMS-IX, waarbij de gemiddelde load al 10 Gbit/s is.

[netiul]

Dat is het vast niet, anders had je in dat grafiekje (http://stuff.servicez.org/pics/amsixoutage.gif) wel een hele hoge datatraffic moeten zien vlak voordat de switch eruit zou knallen.