Het bedrijf Security Innovation heeft, in opdracht van Microsoft, een onderzoek uitgevoerd met als doelstelling te achterhalen welk besturingssysteem, Red Hat Enterprise Linux 3.0 (RHEL 3.0) of Microsoft Windows Server 2003, de meeste bugs en lekken heeft gehad in 2004 als het gebruikt werd als webserver. De gebruikte configuraties bestaan uit Microsofts nieuwste serverbesturingssysteem in combinatie met Microsoft SQL-server 2000 met servicepack 3, Internet Information Services 6.0 en het ASP.NET-applicatieplatform. De RHEL 3.0 distributie was voorzien van Apache, de MySQL-databaseserver en PHP. Voor beide onderzochte systemen geldt dat de onderzoekers er vanuit zijn gegaan dat de software voorzien was van alle recente patches die bij de start van het onderzoek bekend waren. Bij RHEL 3.0 is echter niet duidelijk in het rapport opgenomen met welke versie van MySQL, PHP en Apache er gewerkt is, iets wat het gevonden aantal veiligheidsgaten en patches beïnvloed kan hebben. De doelstelling van het onderzoek was om een vergelijking te maken tussen deze twee besturingssystemen met de focus op een specifiek doel. In dit geval dus het serveren van dynamische en statische webpagina's.
De onderzoekers hebben er voor gekozen om een tweetal zaken te meten: het aantal gevonden bugs en veiligheidsgaten, en de tijd die het geduurd heeft om deze te verhelpen. Omdat RHEL 3.0 op een aantal verschillende manieren geïnstalleerd kan worden heeft men ervoor gekozen om een standaardinstallatie uit te voeren (pakketten als kde-games en dergelijke werden ook geïnstalleerd) en een minimale installatie uit te voeren. Door het design van Microsofts besturingssysteem is het niet mogelijk om een minimale installatie uit te voeren en de onderzoekers hebben ervoor gekozen om deze dan ook in de volledige installatie te testen. Omdat de onderzoekers ervan uit zijn gegaan dat gebruikers van RHEL 3.0 en Microsoft Windows Server 2003 alleen gebruikmaken van packages en patches die door respectivelijk Red Hat en Microsoft zijn aangeleverd, werden alleen die patches meegenomen die door deze leveranciers zijn geleverd. Hierdoor kan het zijn dat bijvoorbeeld een lek in de kernel langer in RHEL 3.0 aanwezig blijft volgens de onderzoekers dan dat er een patch beschikbaar gesteld was door de kernelontwikkelaars. Als we kijken naar de uitslag van het onderzoek, dan komen we op de volgende uitslagen:
Aantal bugs:
Risico | Windows Server 2003 | RHEL 3.0 minimaal | RHEL 3.0 Standaard |
Hoog | 33 | 48 | 77 |
Medium | 17 | 60 | 69 |
Laag | 0 | 7 | 8 |
Niet bekend | 2 | 17 | 20 |
Totaal | 52 | 132 | 174 |
Aantal dagen dat bugs onopgelost zijn:
Windows Server 2003 | RHEL 3.0 Minimaal | RHEL 3.0 Standaard | |
Hoog risico bugs open | 1145 dagen | 2124 dagen | 3893 dagen |
Medium risico bugs open | 426 dagen | 4003 dagen | 5303 dagen |
Laag risico bugs open | 0 dagen | 921 dagen | 943 dagen |
Onbekend risico bugs open | 55 dagen | 2142 dagen | 2276 dagen |
Totaal aantal | 1626 dagen | 9190 dagen | 12415 dagen |
Gemiddeld aantal | 31,3 dagen | 69,6 dagen | 71,4 dagen |
Met dit rapport in handen zou geconcludeerd kunnen worden dat Windows Server 2003 beter ingezet zou kunnen worden als webserver dan RHEL 3.0, indien men naar de veiligheidsgaten kijkt. Wat echter mist in het onderzoek zijn de exacte softwareversies die er gebruikt zijn onder RHEL 3.0, hierdoor is het lastig om het onderzoek te valideren. Daarnaast gaat het onderzoek ervan uit dat beheerders van RHEL 3.0 in het geval van het uitblijven van updates van de leverancier zelf geen tijdelijk patches zullen toepassen. Of dit in de praktijk ook zo is, valt te bezien. Mark J. Cox van Red Hat heeft in een reactie aangegeven dat hij vindt dat het onderzoek geen hout snijdt. Volgens hem wordt er in het onderzoek geen rekening gehouden met het gevaar dat een specifiek veiligheidslek met zich meebrengt. Daarnaast meldt hij dat Red Hats eigen securityafdeling in het jaar 2004 acht veiligheidsgaten heeft ontdekt in RHEL 3.0, zowel op de schaal die Red Hat hanteert als de schaal die door Microsoft wordt gehanteerd. Van deze acht veiligheidsgaten zou 75% gerepareerd zijn geweest binnen een dag en het gemiddelde zou op acht dagen gelegen hebben. Volgens Red Hat is een veiligheidsgat kritiek zodra een gebruiker van buiten er misbruik van kan maken.