Ace's Hardware werpt kritische blik op 3dMark 2003

Ace's Hardware heeft een kritische blik geworpen op 3dMark 2003. Dit keer gaat het niet om de beruchte driveroptimalisaties, maar over de manier waarop de test de uiteindelijke score berekent. De schrijver kwam er namelijk toevallig achter dat een 350MHz Pentium II voorzien van een moderne videokaart (zoals een Radeon 9700 Pro) beter scoort dan een 2,8GHz Pentium 4 met een iets mindere videokaart. Er kan natuurlijk beargumenteerd worden dat dit positief is als je wil weten hoe goed een bepaalde videokaart kan presteren. De vraag is echter in hoeverre de gebruikte testmethode representatief is voor 'real world' spellen. Dit blijkt - natuurlijk - nauwelijks het geval te zijn; uit tests blijkt volledig comform de verwachting dat de 350MHz-processor in echte spellen de prestaties flink onderuit haalt. De claim op de site van FutureMark dat 3dMark een nauwkeurig beeld geeft van de gameprestaties van een systeem, is dus op zijn minst twijfelachtig:

After testing both 3DMark03 and a variety of real-world games based on DirectX 7, 8.1, and 9, we suspect that 3DMark03 is really more of a video card benchmark than anything else. It seems that some of the game tests, especially Mother Nature, measure video card performance almost in isolation from the rest of the system.

For a synthetic graphics accelerator benchmark, this is an ideal situation. But this is not how 3DMark03 has been represented. It is stated to provide an overview of your "system's current gaming performance." Yet from our results, it has failed in that charge twice, by grossly exaggerating the performance of a 350 MHz Pentium II with a Radeon 9700 Pro and minimizing the performance of a 2.8 GHz Pentium 4 with a Radeon 9600.

Reacties (36)

[Anoniem: 84469]

Beetje gezeur van Ace's. Het was al algemeen bekend dat 2003 meer naar de videokaart dan de cpu kijkt.

En dat is NIET raar. In een heleboel spellen vormt de de videokaart de bottleneck, en niet de cpu. Meer dan 1GHz bleek vaak al niet meer nuttig.En dat wordt alleen maar erger en erger.
Immers, de A.I. in spellen is niets zwaarder geworden. De tegenstanders in de huidige shoot 'm up's zijn nog niet zo onnozel als vroeger.
Verder gaan de resoluties waarop gedraaid wordt steeds verder omhoog, en wordt er steeds meer met anti aliasing en anisotrope filtering gewerkt. Allemaal zaken die zeer veel van de videokaart vergen, maar vrijwel niets van de cpu!

Voor de rest wordt er zowiezo steeds meer en meer werk van de cpu door de videokaart overgenomen. Aangezien 3d mark 2003 een benchmark is voor de nieuwste en *toekomstige* DX9 spellen, is het dus helemaal niet raar dat de cpu steeds minder belangrijker wordt.

Niemand die kan beweren dat de scenes in 2003 er niet fantastisch uitzien. Geen enkel spel dat zoiets voor elkaar krijgt. Dat bewijst alleen maar hoe belangrijk de GPU is, en hoe weinig de CPU te doen krijgt wanneer alle features van de videokaarten benut worden.

3Dmark 2003 is een bewijs hoeveel beter de spelfabrikanten moeten inspelen op de mogelijkheden van de moderne videokaarten.

[Japs]

de A.I. in spellen is niets zwaarder geworden. De tegenstanders in de huidige shoot 'm up's zijn nog niet zo onnozel als vroeger.

Vergeet niet dat mede door de verbeteringen in videokaarten, het aantal A.I. bestuurde elementen tegenwoordig een stuk groter zal zijn dan vroeger. Zelfs als de A.I niet intelligenter wordt (wat ik betwijfel) zal de CPU dus een stuk meer te rekenen hebben.

Neem bijvoorbeeld een WOII flightsim. Vroeger was er misschien een max van bijvoorbeeld 32 vliegtuigen tegelijk in de lucht. Als je de massale luchtgevechten goed wil weergeven moet je heel wat meer (enkele honderden) vliegtuigen aansturen met de A.I. De A.I. berekeningen lopen ook nog eens exponentieel op inplaats van lineair, vanwege de interactie tussen elementen.

[Seejay]

Jammer dat 3d mark de enige serieuze gamers-benchmark is... Vroeger had je ook nog final reality.
directe link:
http://mirror.instantnetworks.net/files/fr101.exe

[maaw]

Het enig waar je zo'n benchmark voor kunt gebruiken is om jezelf het gevoel te geven dat het gebruik van bepaalde instellingen of drivers resulteert in betere resultaten.....

niet meer dan dat. Maar daar is niets mis mee.

[ekx]

Euh,

heeft er al iemand van jullie gedacht dat het wel eenszou kunnen kloppen?

Volg m'n redenering es:

De huidige GPU's worden zo krachtig, dat ze het grafische aspect zelf kunnen verwerken,waarbij theoretisch de CPU NIX maar dan ook NIX meer zou moeten doen met het grafische aspect.

Zelfde voor sound. Die geluidskaarten worden allemaal zo krachtig, dat ze zelf alles berekenen.... Allé, daar zou het naar toe moeten.

Zodat enkel de CPU nog zou moeten coördineren, en daar lijkt mij toch een 350 miljoen pulsen per seconde toch wel voldoende voor hoor!

Het spijtige aan heel die zaak is, dat het zo nog niet gebeurt. De cpu doet inderdaad nog steeds het grote werk. Ondanks die krachtige GPU's en APU's...

ALs je zo redneert is dit wel een goeie benchmark...

Waarom het verder iets is? Het haalt wel het uiterste uit je systeem hoor alsj e deze benchmark wilt draaien... Vandaar dat ik ook altijd m'n beste doe de vid.card zo goe mogelijk te tweaken zodat ze beter staat in Direct X - games.

[damouzer]

Was het maar waar Neem nou battlefield. De A.I. wordt berekent door de processor. Je kan dit zelfs zo hoog zetten dat je bijna niet meer kan gamen. Dus real game benches moeten ook cpu enzo meenemen en niet alleen video.

[Verwijderd]

De cpu doet inderdaad nog steeds het grote werk. Ondanks die krachtige GPU's en APU's...

ALs je zo redneert is dit wel een goeie benchmark...

Maar is deze benchmark dan wel representatief voor de huidige games? Neen.
Trouwens je redenering klopt niet en zal waarschijnlijk nooit kloppen ook. Kijk eens naar de framerates die een 9800pro haalt in een game als splintercel met alles op het maximum. Veel overschot is er niet he? Je kan toch moeilijk gaan verwachten dat die 9800pro dan nog enkele taken extra op zijn schouders zal nemen.

Een GPU kan volgens mij trouwens maar heel moeilijk CPU-arbeid verichten, omdat de architectuur zo anders is.

Mooie poging om 3DMark2003 te verdedigen, maar je redenering gaat dus niet op.

* 786562 Durona

[SG]

Daarnaast zijn ook 'n deel van de games duidelijk ook CPU dependend.

Hoe krachtiger 'n GPU hoe complexer de game scenes worden en dus meer voorwerk voor de CPU die daarnaast ook andere taken moet volbrengen zoals AI Sound MPlay

Games zijn afhankelijk van de CPU/GPU daarzitten Games veel onder die vooral overwegend GPU dependend zijn maar toch altijd nog ook voor een deel CPU dependend daarnaast zijn er ook games die toch voor meer CPU afhankelijk zijn vaak is dit ook genre afhankelijk.

aangezien ik verschillende game speel en ook minder populaire is een krachte GPU én CPU nodig.

een zeer goed voorbeeld is UT2003 Botmatch vs Flyby

In game play situatie varieerd tussen die uitersten dus beide zijn belangrijk dus dan hangt je geen 5900U aan 'n Cellie 1Ghz kan wel maar dan heb je toch lage FPS met last van een jojo effect met sterke fps dips.

[Verwijderd]

Het is toch ook een videocard benchmark geen 'real world' spel benchmark...

[JeroenB]

"The Gamer's Benchmark" is juist hoe ze zichzelf noemen. Als je alleen een benchmark voor de videokaart zou willen doen dan zouden er niet van die game-achtige scenes inzitten, dan zou je alleen theoretische fillrates enzo proberen te achterhalen.

Maargoed, 3DMark kon de prullebak al in sinds dat gedoe met driveroptimalisaties. In de praktijk hangt er zoveel af van de drivers van de hardware makers dat je gewoon geen objectieve benchmark kunt maken (of althans, eentje die lang objectief blijft).

[Wouter Tinus]

Als het een videokaartbenchmark is dan moeten ze niet dit soort dingen roepen:

By combining full DirectX®9.0a support with completely new tests and graphics, 3DMark03 Pro continues the legacy of being the industry standard benchmark. The high quality game tests, image quality tests, sound tests and others give you an extremely accurate overview of your system's current gaming performance.

Gaming performance is meer dan alleen de videokaart. Dat weten ze zelf ook, vandaar de Sound en Image Quality tests. Maar CPU en geheugen laten ze kennelijk niet meewegen, en dat maakt de test als "gaming performance benchmark" waardeloos.

[Verwijderd]

Het is toch logisch dat als je een videokaart test dat je dat wel op dezelfde hardware doet. Anders zijn je resultaten toch niet representatief!

[Boomrups]

Maar geld dit alleen voor 3Dmark03, of ook voor eerdere versies?

[EXX]

Daar heb je dat ook al, vergelijk maar:

Systeem 1:
P4 (Northwood) 2.0 GHz, GF4 MX460 64MB : 5618 3DMark2001 points

Systeem 2:
Celeron (Tualatin) 1.3GHz, GF4 Ti4200 64MB : 7291 3DMark2001 points

Systeem 3:
P3 (Coppermine) 800MHz, GF4 Ti4200 64MB : 5908 3DMark2001 points

[mister X630]

Maar die scores die jij hier neer zet kloppen volgens mij als een bus.

Ik zou liever die 1.3Ghz hebben met die TI4200 dan de 2.0Ghz met MX460.

Bij de P4 2.0Ghz is de videokaart de bottleneck en dus geen hoge score. En bij de 1.3Ghz Celeron met die TI4200 is de CPU nog snel genoeg om de videokaart bij te benen.

En aangezien die TI4200 veel sneller is dan de MX460 is deze uitslag logisch.

[thettes]

Reken er maar op dat die northwood in bijv. UT2003 veel meer punten haalt hoor. Dat is dus exact wat er gezegd wordt in de "kritische blik".

[Verwijderd]

En nog test men massaal, en alleen met dit product en andere producten van futuremark.

Ik ben hier al lang van afgestapt. Ik vond het zowiezo al nep dat het kreng alleen Direct3D test, ik speel veel meer in OpenGL. Daarom is GL Excess dan voor mij weer een betere test (die trouwens ook CPU erbijtrekt, als ik de CPU meter op m'n 2e monitor mag geloven).

[Anoniem: 89543]

Het ding test alleen met Direct3D, omdat dat de enige manier is om de nieuwste hardware-functies op een vendor-onafhankelijke manier te testen.
Ten tijde van de introductie van 3dmark2001 bood OpenGL nog geen uniforme manier om shaders te gebruiken.
Ten tijde van 3dmark2003 eigenlijk nog steeds niet, maar de hardware was al weer een generatie verder.

En GL Excess is leuk, maar qua graphics stelt het totaal niets voor. Er worden geen shaders gebruikt, geen vertex/indexbuffers, niet eens dot3 bumpmapping oid... Iedere multitexture-kaart (waarschijnlijk zelfs hele oude Voodoo's) kan dat, en nog snel ook. Dus qua graphics benchmark zegt het net zo weinig als Quake3. Leuk fillrate-testje, meer niet.

Bij moderne videokaarten draait het lang niet allemaal meer om fillrate. Verder is het logisch dat de CPU steeds minder belangrijk wordt voor graphics, de kaart wordt steeds zelfstandiger, steeds minder AGP-verkeer etc.
Als GL Excess meer CPU gebruikt, is dat voornamelijk een teken dat het de hardware minder efficient aanstuurt (op een verouderde manier dus).

[Anoniem: 89337]

Het is algemeen bekend dat de laatste versie van Futuremark (heet geen 3Dmark meer), de prestaties van het videogedeelte berekend aan de hand van de performance van de videokaart en niet van de CPU. Beetje loos onderzoek dus.

Ik moet wel zeggen, dat ik persoonlijk vind dat Futuremark ook echte Gametests zou moeten doen, waarbij de prestaties van het systeem als 1 geheel zou moeten meten

[VTec]

De firma heeft zijn naam veranderd in FutureMark (voorheen MadOnion). De software heet nog steeds gewoon 3DMark, in dit geval dus 3D Mark 2003. Dat is algemeen bekend

[oli4100]

Toch vind ik dit raar, aangezien er in 3dMark 03 ook een aantal CPU tests worden gedaan, die toch ook worden meegenomen in de eindscore (correct me if i'm wrong). Dan zou je toch juist het verschil moeten zien tussen een PIV en een P2??? Dat snap ik dus niet. Uit deze tests blijkt dus ook dat die CPU test in 3dMark gewoon overbodige bullshit is.

Overigens denk ik niet dat gamers niet zomaar gaan overstappen op een nieuwe benchmark, gewoonweg omdat deze zo'n bekendheid heeft opgebouwd, én omdat dit op dit moment de enige benchmark is waarin je makkelijk resultaten met elkaar kan vergelijken, over de hele wereld heen. Tevens is dit ook de enige bekende (bij mijn weten) die DX9 ondersteunt. Er moeten dus andere, betere DX9 benchmarks komen om 3dMark van zijn populariteit af te helpen. Of FutureMark moet het concept drastisch veranderen en bijvoorbeeld een benchmark samenstellen uit diverse bekende, grafische zware spellen. (ik denk aan Doom III, UT, Unreal, GTA etc.) Spellen waaraan je écht kan zien hoe jouw pc presteert op spellen gebied. Tot die tijd is 3dMark in mijn ogen niet meer dan een leuk speeltje waarmee tweakers elkaar kunnen aftroeven.

[Jefrey Lijffijt]

Ja de cpu scores worden meegenomen, sterker nog de benches draaien wel degelijk beter op een snelle cpu, en de cpu test elimineerd dat verschil door een bepaalde score af te trekken van de test.

Het punt is dat Futuremark juist express dit heeft gedaan en ik vind het puik werk van ze want het klopt echt!

[Rone]

You're wrong...

Zoals je in de readme van 3DMark03 kunt lezen wordt de totaalscore alleen berekent door het optellen en vermenigvuldigen van de gemiddelde fps van de Game-tests.
De exacte formule kun je daar vinden.

Dit was trouwens ook het geval bij 3DMark2001.

[Verwijderd]

dus kun je beter max payne draaien op de twee in de review geposte systeem configuraties.

is een echte game, met dezelfde engine die ook in 3dmark is gebruikt. kijken of het _spelen_ van max payne dan ook daadwerkelijk beter gaat.

zowiezo denk ik dat als je echt een _gamers_ benchmark wilt maken dat je met veel meer zit dan alleen cpu/gpu, wat dacht je van laadtijd. laden op een moderne pc zal echt wel sneller gaan met ddr400 geheugen, serial ata 150 en wat dies meer zij. bovendien doen moderne games veelal streamen van de harddisk (muziek, pre loading).

3dmark2003 geeft wel een CPUmark naast de 3Dmark score. eigenlijk zouden ze die 2 bij elkaar moeten optellen. of iig. iets met die 2 scores doen.

[_Drake_]

Max payne is leuk maar zelf me gf3 pompt meer dan 60 fps uit als alles op max staat

dan kan je beter unreal2 nemen iets zwaarders heb ik nog niet gezien .

Trouwens wel leuk is om in Final reality dat in 1997 uitkwam een aantal spoilers te zien van Max payne kan je nagaan hoelang die gasten ermee bezig zijn geweest .mensen die ook opletten zien dat de poster van die japanse vrouw uit Blade runner komt