Nieuwe Linux-kernels worden voortaan automatisch getest

Tux (groot) Eén van de grootste problemen voor de Linux-kerneldevelopers is het kunnen testen van de kernel, voor en tijdens de release van een nieuwe kernel. Of het nou gaat om major- of minor-releases, het op korte termijn testen van de kernel is één van de belangrijkste dingen. Door de ingebruikname van een testsysteem bij IBM is het nu mogelijk om de kernel binnen vijftien minuten nadat deze gelanceerd is op minimaal zeven verschillende systemen te testen. Het systeem biedt de mogelijkheid om verschillende kernel-branches te testen, waaronder de -mm, -mjb en de mainstream kernel. Naast het testen van de verschillende kernels zou het ook mogelijk zijn om patches te testen en uit te voeren. De ingebruikname van dit systeem moet het aantal bugs op korte termijn verkleinen, waardoor bepaalde buildfouten eerder naar boven komen. Al met al wordt verwacht dat het kernel-testproces op deze manier sneller en accurater doorlopen kan worden.

Lees meer

Reacties (27)

n4m3l355 6 juni 2005 10:25

het rare is eigenlijk dat nog niet iemand dit zich eerder heeft laten invallen. het stelt niet echt veel voor en prijstechnisch zijn een groot aantal van deze systemen goed te doen. ik vraag me wel af of door juist het snel testen op de mainstream systemen of dit niet tenkoste gaat op termijn van de minder bekende systemen waardoor linux meer en meer een mainstream product zal worden dat zich zal gaan richten op de x86 wat imo niet zo'n goede ontwikkeling is

Verwijderd @n4m3l355 • 6 juni 2005 10:36

Waarom zou dat niet goed zijn? Naar mijn mening is de ontwikkeling van Linux sterk vertraagd door 'outdated' systemen te blijven ondersteunen. De populariteit zal juist verhogen als x86 platformen het meest aandacht krijgen.

erikdenv @Verwijderd • 6 juni 2005 10:43

Outdated en "niet x86"" is niet hetzelfde. Een groot voordeel van Linux is het enorme aantal plaformen dat ondersteund wordt. Het lijkt mij ook niet dat de ontwikkeling hier door vetraagt.

Vaak zie je (binnen gentoo iig) dat een nieuwe kernel eerst voor x86 als stable gemerkt wordt en pas later voor amd64 en nog veel later voor bijvoorbeeld mips.De x86 ondersteuning blijft hierdoor snel, er hoeft niet op de rest gewacht te worden.

Verwijderd @n4m3l355 • 6 juni 2005 11:50

Als je hier zou kijken zou je de 7 testsystemen kunnen zien, en ook erop uit kunnen maken dat 3 van de 7 pc's niet x86 compatible zijn. En ook dat de nieuwste testversie van linux (2.6.12-rc5-mm2) wel goed draait op de non-x86 machines maar nog niet/niet meer op de x86 bakken.

n4m3l355 @Verwijderd • 6 juni 2005 11:59

ik heb daar gekeken aangezien dit gisteren al op /. was

maar 3 alternatieve systemen is maar een fractie van het totaal wat er is. daarom ook mn comment op dat het erg specifiek voor mainstream is en dat dit niet een gezonde ontwikkeling is voor de linux gemeenschap. de kracht wat ook Erik al aanmerkt is de diversiteit van linux en niet het alleen werken op een IBM server

Verwijderd @n4m3l355 • 6 juni 2005 14:04

Maar "7" is natuurlijk geenzins de maximale grens van het aantal mogelijke systemen in deze opstelling. Grote kans dat er in de toekomst nog wat meer verschillende machines bij komen, in eerste instantie natuurlijk machines waar IBM zelf iets mee te maken heeft, aangezien ze daar expertise in hebben (en het meeste baat bij hebben) maar wellicht kunnen andere hardware-leveranciers ook hun systemen op de testomgeving aan laten sluiten.

Daarbij is de realiteit dat Linux voornamelijk op de relatief goedkopere x86 architectuur wordt gebruikt, logisch dus dat ze hier meer configuraties van willen testen, dit verklaart waarschijnlijk ook waarom deze het slechts door de test komen; hier zit de meeste ontwikkeling in en dus de meeste kans op fouten.

Verwijderd @Verwijderd • 6 juni 2005 20:07

Dat lijkt sprekend op de Tinderboxen die Mozilla.org gebruikt.

http://tinderbox.mozilla.org/showbuilds.cgi?tree=SeaMonkey

Die gebruiken zo'n systeem al jaren.

Het werd tijd dat kernel.org ook zo'n systeem hebben, beter laat dan nooit.

pfismvg @n4m3l355 • 6 juni 2005 10:40

Minder bekende systemen zullen mischien een heel klein beetje minder baat hebben bij deze test omdat die driverconfiguraties niet getest worden.

maar al met al zullen de core functies van de kernel ook getest worden en dat maakt bijna geen verschil op wat voor hardware het draait. Dus in principe wordt gewoon de kernel sneller getest en zullen grove fouten sneller opgelost worden. Dat is gewoon beter voor de kernel ongeacht het onderliggende systeem.

Verwijderd @pfismvg • 6 juni 2005 15:52

Dat automatisch testen sneller gaat dan met de hand is logisch, maar ik vraag me dan af wat precies de verschillen zijn.

Een automatisch testsysteem zal waarschijnlijk alle belangrijke functies testen, maar de onbekende functies blijven misschien onbekend bij het testsysteem.

Wil IBM nou alleen het 'vuile' testwerk uit handen van de ontwikkelaar nemen of is het de bedoeling dat het testsysteem de ontwikkelaar moet vervangen, op het gebied van testen natuurlijk.

Verwijderd 6 juni 2005 10:25

Een van de belangrijkste troeven van Linux is natuurlijk dat ze 'kort op de markt' zitten. Met immer groeiende complexiteit mogen ze dat voordeel niet verliezen door lange testprocedures. Automatisch testen is dus een grote stap voorwaarts!

Hoe ver staat Microsoft daarmee?

kris_112 @Verwijderd • 6 juni 2005 12:52

Automatisch testen is dus een grote stap voorwaarts! Hoe ver staat Microsoft daarmee?

Microsoft test ook automatisch. Ik weet de precieze details niet, ik geloof dat ze na elke werkdag een basis-test (met c.a. 200.000 test-cases) draaien om te kijken of er die dag niks gesloopt is, en vervolgens zijn er wekelijks en maandelijks nog een aantal uitgebreidere tests (met tot 6.000.000 testcases). Correct me if I'm wrong.

MPAnnihilator @Verwijderd • 6 juni 2005 10:34

Sinds wanneer brengt Microsoft heuse kernel updates uit ?

... niet dus

Ik word hier duidelijk verkeerd begrepen : Microsoft steekt in hun service packs toch geen volledige vernieuwde kernel zoals dat bij Linux wel het geval is ?

Abom @MPAnnihilator • 6 juni 2005 11:04

Er zijn behoorlijk wat fixes, maar ook nieuwe features die de kernel raken. Dus ja, Microsoft update ook de kernel regelmatig.

Daarbij zijn nieuwe Linux kernels ook niet volledig vernieuwd, maar gewoon verder ontwikkeld waar ze de laatste keer waren...

Blokker_1999

@MPAnnihilator • 6 juni 2005 18:03

Service Packs krijgen een geupdate kernel mee.

Sir_Eleet @MPAnnihilator • 7 juni 2005 00:19

Windows zit anders in elkaar dan Linux.
Windows maakt namelijk gebruik van een Hybrid kernel terwijl Linux een Monolithic kernel heeft. Wat ik er van versta is dat de kernel van Windows opgesplitst is in meerdere delen (programma's) terwijl Linux 1 grote kernel heeft (het staat hier allemaal uitgelegd).
Daardoor heb je volgens mij niet echt "volledige" kernel updates bij windows maar alleen updates van bepaalde onderdelen van de kernel, daar je bij linux een heel nieuwe kernel moet compileren om een update door te voeren.

Motrax 6 juni 2005 10:25

Als ik dit dan zo doorlees, dan ben ik eigenlijk wel nieuwsgierig naar een paar punten:
- Wat is de gemiddelde doorlooptijd?
- Hoeveel bugs worden ontdekt?
- Hoeveel tijdsbesparing denkt men ermee te bereiken?
- Hoe is een dergelijk testsysteem opgezet?
- Wordt open source niet een beetje misbruikt als proefkonijn door IBM? Ideaal om hun testsysteem te testen...

Defspace @Motrax • 6 juni 2005 10:45

Als ik dit dan zo doorlees, dan ben ik eigenlijk wel nieuwsgierig naar een paar punten:
- Wat is de gemiddelde doorlooptijd

Lijkt me nog niet bekend aangezien ze nog moeten beginnen. Waarschijnlijk zeer snel (totdat de test is afgerond)

- Hoeveel bugs worden ontdekt

Is natuurlijk moeilijk te zeggen. Hangt van de code af

- Hoeveel tijdsbesparing denkt men ermee te bereiken

Heel veel natuurlijk. Automatisch testen gaat natuulijk veel sneller.

- Hoe is een dergelijk testsysteem opgezet

Lees je in op automatische testmethodes. Is genoeg over te vinden.

- Wordt open source niet een beetje misbruikt als
proefkonijn door IBM? Ideaal om hun testsysteem te testen...

Nee, IBM test al jaren kernels en software automatisch.
Ze hebben nu alleen een testomgeving gecreerd voor de linux kernel. Goed nieuws dus.

pfismvg @Motrax • 6 juni 2005 10:47

- Wat is de gemiddelde doorlooptijd
niet meer als 15 minuten inclusief het downloaden en compileren als we het nieuwsbericht mogen geloven

- Hoeveel bugs worden ontdekt
dat is natuurlijk ook een beetje afhankelijk van het aantal bugs die de kernelontwikkelaars maken

- Hoeveel tijdsbesparing denkt men ermee te bereiken
Normaal kan het wel een paar dagen duren voordat genoeg mensen de nieuwe kernel gedownload hebben en fouten onddekken

- Hoe is een dergelijk testsysteem opgezet
waarschijnlijk een script dat continue kijkt op http://kernel.org of er een nieuwe kernel beschikbaar is, deze download, compileerd en daarna een serie stresstesten gaat uitvoeren.

- Wordt open source niet een beetje misbruikt als proefkonijn door IBM? Ideaal om hun testsysteem te testen...
IBM mag uiteraard ook gewoon zijn servers testen met een linux kernel zonder zijn ervaringen te delen met de kernel ontwikkelaars.

Verwijderd @Motrax • 6 juni 2005 10:45

Wat is de gemiddelde doorlooptijd?

Ik vermoed dat men bestaande tests bundelt, en er nog veel moeten geschreven worden. In ieder geval, wat maakt het uit? Je werkt een dag, gaat slapen, en 's morgens weet je wat niet goed was.

Hoeveel bugs worden ontdekt?

Daar kan je nooit een maat op zetten he.

In m'n eigen code zitten een test die al tientallen bugs heeft blootgelegd, en andere die nooit foutgingen...

Wordt open source niet een beetje misbruikt als proefkonijn door IBM?

Ja dat is juist het doel van open-source he. Misbruikt kun je het dus zeker niet noemen. Anders had het closed-source moeten zijn.

crappy 6 juni 2005 10:49

Dit heeft veel weg van de manier waarop men bij FreeBSD de boel continue controleert.
op http://pointyhat.freebsd.org/errorlogs/ kun je bijvoorbeeld nagaan wat de status is van de ports collectie.

voodooless 6 juni 2005 16:29

Door de ingebruikname van een testsysteem bij IBM is het nu mogelijk om de kernel binnen vijftien minuten nadat deze gelanceerd is op minimaal zeven verschillende systemen te testen

Is het niet slimmer om dat VOOR de release te doen

In ieder geval weer een stap in de goede richting.

i-chat 6 juni 2005 23:56

Door de ingebruikname van een testsysteem bij IBM is het nu mogelijk om de kernel binnen vijftien minuten nadat deze gelanceerd is op minimaal zeven verschillende systemen te testen

Is het niet slimmer om dat VOOR de release te doen

euh, mozilla org levert toch ook een nightly build...
ik wil nou niet zeggen dat je dat een release kunt noemen,
- he is practisch idiaal zo'n build door '1 of ander' tooltje te laten testen...

-------
test systeem alleen voor mainstream slecht voor linux op andere systemen

dat is natuurlijk wel weer heel erg kort door de bocht,
als je voor de x68 kernels gaat de-buggen, met een daarvoor gebouwde 'automaat',

zegt dat natuurlijk nix over het niet meer verder ontwikkelen van linux op andere systemen.
het zegt alleen maar dat het debuggen van de x86 sneller zal zijn, - (en gaat absoluut niet ten koste maar paralel aan - andere versies)

in het meest idiaale geval zou je zelfs kunnen stellen (en dat is dan wel erg zonnig bekeken misschien) dat met deze nieuwe debug methodes je meer tijd en man uren over hebt om die andere versies ook sneller te debuggen dan het nu gaat...

of in een ander geval, dat er (en dat was al eerder gesteld) na een goede intoductie periode meer van dit soort test sysmen komen, op veel meer platformen...

in dit geval lijkt 't me zeker een positive ontwikkeling, en op termijn voor vast wel meer dan alleen x86