nVidia ondersteunt 3DMark 2003 niet

Het zal de gamers onder ons niet ontgaan zijn dat de laatste versie van de populaire 3DMark-serie onlangs verschenen is. Hoewel in een interview met Futuremark nog eens duidelijk werd dat het softwarebedrijf nauw samenwerkt met de belangrijke spelers in de consumentenmarkt voor pc-graphics, heeft nVidia Gamespot laten weten nogal wat kritiek te hebben op het benchmarkprogramma. nVidia zegt zelfs 3DMark 2003 niet te ondersteunen als primaire benchmark om de prestaties van nieuwe grafische kaarten mee te testen. Als voorbeeldreden noemt de chipbakker dat de eerste scene opgebouwd worden op een inefficiënte manier, met gebruik van DirectX-elementen die vooral door ATi gepromoot worden, maar weinig gebruikt worden in games. Aki Jarvilehto van Futuremark reageerde hierop met de volgende woorden:

"We've been working for the last 18 months to make 3DMark 2003 an accurate and objective benchmark. Nvidia was one of our beta members until December, and it's not our place to comment on why they've decided to withdraw from the program. After working on the project for almost two years with all the leading manufacturers, we do strongly believe that 3DMark 2003 is an accurate representation of game performance for modern 3D accelerators."

Reacties (80)

[Verwijderd]

Ik denk dat het voornamelijk komt omdat nVidia veel hoop had gezet op de GeForce FX, nu de ATI radeon hier de vloer mee aanveegt in vele benchmarks, waaronder 3dMark 2003 is dit volgens mij een manier om verder gezichtsverlies te beperken.

nVidia valt nu Futuremark aan maar ik vraag me af of deze niet de zaak heeft gesabotteerd. Okee de Radeon ondersteunt DirectX 9. Maar als ik het verschil zie op een Radeon 9700 (niet pro) en een GF4 Ti4600 dan valt het wel op dat het op de Radeon allemaal een stuk lekkerder draait. Terwijl bij bijv. Unreal 2 deze verschillen een stuk kleiner zijn... geeft je toch wel te denken...

Zeker als je de eerste gamebenchmark ziet van 3DMark die zelfs op een Geforce2 werkt... die scene is veel minder complex dan menig unreal 2 level...

[Horus]

Lijkt me vrij logisch dat het verschil in 3d mark groter is dan in unreal2, unreal is namelijk een dx 8.1 spel en 3dmark een dx9.0 benchmark.

[Verwijderd]

Ik verwijs naar de laaste ATI drivers (3.1), die Unreal een boost geven van 20 tot 40% (en een hoop andere games ook een boost geven, niet zo spectaculair maar toch merkbaar).

Zodus de gap met de Geforce4 & de R9700 is ineens met 20 tot 40% verbeterd.

Enkel mensen hebben de test gedaan en deze zagen de fps van 62 -> 86 (demo 1), 82-> 126(demo2) gaan etc ...

ATI heeft het Nvidia truckje gedaan maar niet zoveel lawaai rond gemaakt zoals Nvidia doet met hun drivers die een massa verbetering in fps bezorgen.

[Stinger666]

Dat nVidia niet blij is hiermee lijkt me vrij duidelijk. Maar het komt er op neer dat 3DMark2k3 niet gebasseerd is op een standaard instructie pricipe.
En wel op een principe waar de Ati kaarten goed mee overweg kunnnen. Dit is o.a. DX9.

Maar de test zal dus nooit representatief worden op deze manier.

Over de discussie of een gewone 9500 (of Pro) sneller is dan een Ti4600 ga ik niet meer op in. Dit is iedereen zn persoonlijke mening en ervaring.
Mijn Oc'ed Ti4200 houd in ieder geval de gemiddelde 9700 (Non-pro) bij (In 3DMark2k1). Hoewel ik in 3DMark2k1 soms user met een 9700Pro inhaalde of bijhield.

Maar niet representatief voor de prestaties van de kaart want: Het kan gewoonweg niet zo zijn dat een R9500 ineens 3 keer zo snel is als een Ti4600.
(Bijvoorbeeld dan) Zo kun je dus geen eerlijke vergelijking maken. Een benchmark hoort dat wel te doen. (Zoals 3DMark2k1 wel deed)
Ik kan nu niet meer fatsoenlijk vergelijken met mn medetweakers hier.

Met de gemiddelde games van tegenwoordig, zal een R9700Pro geen problemen hebben, maar dit geldt net zo goed voor een Ti4600 of een leuke Ti4800.
Met DX9 based games zal een R9700Pro zeker zn voordeel doen, maar als die game-designers net zo dom zijn als bij Futuremark om geen ondersteuning in te bouwen
voor DX8 (of zelfs 7) kaarten dan zal die game nooit goed verkopen, want hij runt voor geen meter op die kaart. (Je haalt er met een Radeon 50Fps mee en met een GF4 18Fps)

[Verwijderd]

Dat nVidia niet blij is hiermee lijkt me vrij duidelijk. Maar het komt er op neer dat 3DMark2k3 niet gebasseerd is op een standaard instructie pricipe.
En wel op een principe waar de Ati kaarten goed mee overweg kunnnen. Dit is o.a. DX9.

Mag ik je erop pointen dat:

Demo 1 = DX7.0 test
Demo 2 = DX8.0 test
Demo 3 = DX8.0 test
Demo 4 = DX9.0 test

Men moet niet zagen dat 3dmark niet klopt omdat het puur DX9 ondersteund als van de 4 testen maar 1!! een DX9 test is ...

Dat de totaal score's nu lastiger zijn, heeft ook te maken met een andere punt. De polygons in de scene's zijn ZWAAR omhoog gesmeten, zo zwaar beyond wat de huidig games hebben (maar wat toekomstig games zoals Doom III, Stalker etc zullen hebben). Dat maakt dat de score's meer juist zijn voor toekomstige games... En tegen die massa polygons, kan een Geforce4 idd niet op, wat tot een veel lagere score geeft...

Ivm gamedevelopers die "dom" zijn om DX9.0 niet te gebruiken... Wil je eens leren games developen kerel... Een game developen duurt 1.5 JAAR!!! Een jaar en half geleden bestond DX9.0 niet, hell, men dacht toen nog maar over DX8.0. Zodus alle developers hebben game's zitten maken die DX8.0 gebruikte. Zelf Doom III is NIET DX9.0. Sommige developers zijn nug bezig hun game's te enhancen

En ik denk dat u eens dringent meer info mag lezen over de 3d mark benchmark, want uw uitleg toont duidelijk aan dat u geen idee hebt hoe 3dmark 2003 werkt.

Voor info over hoe 3dmark werkt:
3d Mark werking review

/Edit: typo

[catfish]

snap je het zelf wel?

het blijft een "all round" bench, maar dat is duidelijk niet zo: een R9700pro scoort 4500 ptn, of daar nu een P4 1800 of een P4 3GHz aan hangt, maar 100-200 ptn verschil, misschien vind jij dat normaal, maar geloof me vrij, in de games die over 2 jaar uitkomen zal dit zeker niet zo zijn!

de R9500 is goed, de bench is DX9 (maar 1 van de 4 tests), en de bench komt NU uit
aangezien mensen een dergelijke bench gebruiken om een kaart te kopen, geeft deze een verkeerd beeld, want opeens is een kaart als een gf4ti, maar ook een R8500 of R9000 niks meer waard volgens de score, klopt toch niet echt he
qua DX9 is de R300 core uiteraard snel enzo, maar qua pure kracht is deze helemaal niet zo veel sneller als een gf4ti4600

ik ben nog steeds benieuwd of AMD dit ook gaat kunnen met de Opteron tov intel: een half jaar geleden was iedereen hier pro nVidia, Ati sucks, maar sinds de R300 is de hele mentaliteit hier omgedraait, beetje kort door de bocht vind ik

[garagaholic]

Je koopt toch zo'n kaartje om de komende tijd nog games te kunnen spelen? Als je dat zo bekijkt, is deze benchmark gewoon goed. Je kan de ti4600 kopen, maar deze zal een stuk langzamer worden bij DX9.0 games! Dat is wat jij zelf ook zegt, maar jij interpreteert 't anders

[Tribbin]

een half jaar geleden was iedereen hier pro nVidia, Ati sucks

Ik moet nog steeds die nVidia drivers aan mijn (linux-)kernel koppelen. Dit is mijn reden dat ik tegen (mijn v-kaart nVidia ben.

[Rafe]

Ivm gamedevelopers die "dom" zijn om DX9.0 niet te gebruiken... Wil je eens leren games developen kerel... Een game developen duurt 1.5 JAAR!!! Een jaar en half geleden bestond DX9.0 niet, hell, men dacht toen nog maar over DX8.0. Zodus alle developers hebben game's zitten maken die DX8.0 gebruikte. Zelf Doom III is NIET DX9.0. Sommige developers zijn nug bezig hun game's te enhancen

Misschien interpreteer ik het verkeerd, maar wil je op deze manier zeggen dat Doom III op DX 8.0/8.1 gaat draaien
Die vlieger gaat niet op, Doom III gata op OpenGL draaien, misschien dat het geluid door DirectX wordt afgehandeld, maar grafisch zeker niet.

IMHO sowieso een beetje krom om het eerst over het wel/niet gebruiken van DX 8/9 te beginnen en daarna Doom III er bij te betrekken... ze hebben weinig met elkaar te maken.

[mvt]

Nu met dx8 -> dx9 krijg je hetzelfde als eerst met dx 7 -> 8.
Een GF2 presteerd gewoon slechter dan een GF3, vooral omdat ie specifieke dingen niet aankan. In 3d mark01 kwam dat naar voren met de nature demo die niet draait op een GF2. Ook is een 3 nog sneller dan een GF4MX bij specifieke DX8 spellen. maar daarover is geen gezeik van Nvidia, want dan is het logisch wegens het verschil in DX compatibliteit.

[Wildfire]

Ik heb zo het vermoeden dat nVidia het niet ondersteunt omdat hun kaarten er niet echt al te goed vanaf komen in vergelijking met ATI's parade-paardjes...

[mvds]

Tja, ook is het zo dat, ook al worden die technieken niet veel gebruikt, ze wel ondersteund moeten worden als nVidia tenminste de claim "volledig DX9.x compatible" vol wil houden.

Zouden de kaarten niet goed met die instructies om kunnen gaan, wil dat alleen maar zeggen dat ze de implementatie van DX niet zo volledig in hun kaarten hebben zitten als dat ze tot nu toe zeiden.

Beetje zwak om dan maar te zeggen dat ze de benchmark niet ondersteunen. Is imho een poging om hun eigen fouten te verbergen.

En wat wil die uitspraak zeggen: "op een inefficiënte manier"? Is dat zoiets als, zonder gebruik te maken van truukjes die toegepast worden om kaarten sneller te laten lijken dan dat ze eigenlijk zijn?

Nu 3DMark eens niet geoptimaliseerd is voor een nVidia kaart beginnen ze meteen te klagen, zwak hoor, ik heb ATI dat nooit zien doen. Erg zwak!

[Kristof]

Het wil niet zeggen dat Nvidia die technieken (die weinig gebruikt worden in games) niet geoptimaliseerd heeft om sneller uitgevoerd te worden, dat ze niet ondersteund worden.

Om een opdracht te laten uitvoeren, kan het hardcoded verwerkt worden of softwarematig. Hardcoded gaat natuurlijk sneller.

Het is altijd een keuze die men moet maken om dit of dat te optimaliseren. En het is steeds interessanter om de veel gebruikte operaties te optimaliseren. Als men natuurlijk in benchmark programma's de weinig gebruikte functies veelvuldig gaat gebruiken, en de veel gebruikte functies maar weinig, tja dan kan je niet van een objectieve test spreken.

[machuidel]

Het tegenovergestelde van "Softwarematig" is "Hardwarematig" niet "Hardcoded".

Hardcoded betekend als je bijv. een programma schrijft je gewoon even snel wat code ertussen schrijft om te testen of wat je gaat doen wel echt gaat werken voordat je tijd eraan besteed om het goed te doen.

Hardcoding is dus niet "altijd" goed omdat de code van het programma minder overzichtelijk wordt.

[cavey]

En wat wil die uitspraak zeggen: "op een inefficiënte manier"? Is dat zoiets als, zonder gebruik te maken van truukjes die toegepast worden om kaarten sneller te laten lijken dan dat ze eigenlijk zijn?

inefficiente manier van het opbouwen van het beeld, het 3d model zeg maar.

je kan een 3d model/render iets op verschillende manieren opbouwen.

allerlei geneuzel met z-planes, polygon culling etc etc...

probably dat ze dat bedoelen.. en dat DirectX een nogal kromme manier van werken heeft om bijvoorbeeld 3d scenes op te bouwen..

(hebben ze dat al veranderd? nah, kan vast niet, maar ik had ooit eens ergens vernomen dat de te gebruiken matrices getransponeerd zijn? Wat nogal een kronkel vereist tussen het mathematische model/algoritme en de Direct3d implementatie daarvan? Vind het zelf ook nogal klote als je ene manier gewend bent, en dan om in D3D te proggen je alles moet transponeren....)

[TheGhostInc]

Alsof ATI daar dan geen last van heeft.

Sorry voor nVidia, maar imho is het gewoon kinderachtig, je weet al van te voren wie wat maakt. Als je dan na een hele lange ontwikkeltijd, waarbij je aan hebt gegeven samen te werken je handen ineens terug trekt, en je maar met modder gaat gooien, is er zeker 1 partij die niet gezellig bezig is.

Maar goed, of nVidia het zelf ondersteund of niet, als ze afgemaakt worden in de benchmark, is dat gewoon niet goed voor hun verkopen. En blijkbaar heeft ATI een produkt dat beter verkoopt bij de klanten EN de ontwikkelaars.

* 786562 TheGhostInc

[T.T.]

Ook Hothardware heeft informatie over dit onderwerp op hun site gezet:

"Unfortunately, Futuremark chose a flight simulation scene for this test (game 1). This genre of games is not only a small fraction of the game market (approximately 1%), but utilizes a simplistic rendering style common to this genre. Further, the specific scene chosen is a high altitude flight simulation, which is indicative of only a small fraction of that 1%."

"For all intents and purposes game tests 2 and 3 are the same test. They use the same rendering paths and the same feature set. The sole difference in these tests appears to be the artwork. This fact alone raises some questions about breadth of game genres addressed by 3DMark03. --- These two tests attempt to duplicate the “Z-first” rendering style used in the upcoming first-person shooter game, “Doom 3”. They have a “Doom-like” look, but use a bizarre rendering method that is far from Doom 3 or any other known game application."

"Finally, the choice of pixel shaders in game tests 2 and 3 is also odd. These tests use ps1.4 for all the pixel shaders in the scenes. Fallback versions of the pixel shaders are provided in ps1.1 for hardware that doesn’t support ps1.4. Conspicuously absent from these scenes, however, is any ps1.3 pixel shaders. Current DirectX 8.0 (DX8) games, such as Tiger Woods and Unreal Tournament 2003, all use ps1.1 and ps1.3 pixel shaders. Few, if any, are using ps1.4."

"This year’s 3DMark has a new nature scene (game 4). It is intended to represent the new DirectX 9.0 (DX9) applications targeted for release this year. The key issue with this game scene is that it is barely DX9."

En nog meer

[Hakker]

Om het even duidelijk te maken dit is dus de uitleg die Nvidia geeft over 3D mark 2003 en niet HotHardware.

Ik vind het trouwens knap dat Nvidia zowieso al gaat kletsen over Doom3 aangezien het bekend is dat Carmack meer kijkt naar Ati dan Nvidia met Doom3.

[Verwijderd]

Ik dacht toch echt dat Mr. Doom behoorlijk pissed was op Ati voor het leaken van de Doom 3 Alpha en om deze reden had aangekondigt Ait niet op de eerste plaats te zetten omdat ze zulke zaken niet eens serieus nemen!

maar goed....denk niet dat er naar 1 manufacturer wordt gekeken. Nvidia heeft een groot marktaandeel en daar willen ze dus echt hun centjes niet kwijtraken!

Beide merken zijn dus interessant om te ondersteunen!

[Royale de Luxe]

tjonge... geloof je dat nog van die DOOM3

beter onderbouwen wat je zegt, dat is pas een goed idee

[Kramers]

Was de vorige versie van 3DMark wel represtatief voor de destijds bestaande videokaarten? Toen hoorde ik NVidia niet klagen over dit benchmark programma.

Omdat het toen wel representatief was, of omdat ze toen wel goed uit de bus kwamen?

[Luke Skywalker]

Ik dacht zelfs dat nVidia officieel sponsor is voor 3DMark 2001zoals te krijgen bij Madonion.com.

Dat wil op zich natuurlijk niets zeggen over partijdigheid, maar normaal gezien bijt men niet de hand die men voedt.

[Brent]

Precies, NVidia had toch enkele weken geleden nog de web-analyzer van Futureemark op z'n site staan...

[boesOne]

Ohjee.. Eerst de kritiek op de benches van de GFfx met 2XAA aan, nu weer op 3Dmark2K3. Dit is slecht voor de reputatie van nV.
Wel valt op dat de GF4 serie erg lage scores haalt tov de R300 serie van ATi. Volgens mij kwam het doordat standaard AA aanstaat en dat ATi daarin nou eenmaal op dit moment beter is. En natuurlijk omdat nV nu geen DX9 kaart op de markt heeft, wat dat betreft komt deze nieuwe bench op een slecht moment voor nV, maar om dan zo te gaan zeuren...

[Verwijderd]

het trekt op niks die demos, ge merkt niks van de AA enzo, tzijn net games van 4 jaar geleden maar ik haal toch maar 1504 punten met mn XP 2200+ @ 2ghz en gf4 ti4400. Ik heb het nog niet op een directx 9 kaart gezien maar ik denk niet dat het verschil in kwaliteit van graphics zo groot mag zijn, enkel het aantal fps.

[Verwijderd]

Jij zou toch wel iets hoger moeten kunnen halen. Ik haal namelijk ook 1504 punten, maar dan met een XP1800+ (1533MHz) en een GF4 Ti4200...

[Hakker]

Het valt mij gewoon op dat sinds de R300 op de markt is gebracht Nvidia loopt te zeiken op alles en iedereen. Eerst over het feit dat Ati werd benaderd voor DirectX9.0 mee te helpen ontwikkelen en het eens niet Nvidia was. Het resultaat is een veel algemenere DirectX geworden. Daarna gelijk gezeur over de Geforce FX. Nou het kan mij niet boeien wanneer het aan staat of niet maar als je default instellingen gebruikt moet ie gewoon goed en snel zijn en niet achteraf gaan lullen van de instellingen moesten anders staan. En dan hebben we deze situatie er nu bij.

Wat mij ook opvalt is dat Ati nooit heeft lopen zeiken over het feit van de massa's mensen die zeiden dat de Radeon drivers altijd brak waren omdat ze een Rage hadden. Of het feit dat Nvidia aan DirectX 7 en 8 hebben meegewerkt. Ze zijn gewoon bezig om hun producten echt beter te maken en durven daarmee ook wel degelijk risico's te nemen waar Nvidia gewoon meer en meer is gaan teren op hun oude succesen en gewoon een wat snellere upgrade uitbrengen.

[Verwijderd]

Was het niet zo dat die hoofdontwikkelaar van Doom3 zei, dat nVidia's FX ver uit de toon viel, als niet de specifieke nVidia compilatietools werden gebruikt, om zo die eigenwijze FX te laten presteren?

nVidia heeft een eigen programming toolset en gaat voor een deel voorbij aan DX9. Dan vind ik het niet zo vreemd dat ze niet met de 3Dmark03 mee willen.. Die zal vast niet specifiek nVidia FX-geoptimaliseerd zijn, om zo de normale/generale prestaties te meten, op eenzelfde manier voor elke 3D accellerator.

[Verwijderd]

Dan is mijn vraag aan jou: is het niet vreemd dat nVidea alleen met hele speciale instructiesets goed presteert? Wat je wilt, denk ik, is een kaartje dat met alle standaard instructiesets goed overweg kan en niet alleen met nieuwe, speciaal geoptimaliseerde, sets, aangezien oudere games deze sets ook niet ondersteunen. Het is dus aan nVidea om dichter bij de standaarden te blijven met hun optimum performance.

[BillyBee]

ik denk dat dit net zoiets als dat van intel is: Intel komt met de P4 die met normale code slecht presteerd maar met geoptimaliseerde code ineens wel vele beter presteerd... misschien zit er bij de GFFX net zo'n adertje onder het gras. ik vind het namelijk nog steeds ontzettend raar dat ze zo'n dure chip maken met meer transistoren en een kleinere techniek en dan toch achter blijven in kwaliteit EN snelheid...

[mjtdevries]

Voor de mensen die niet begrijpen waarom de verhoudingen in deze versie van 3DMark zoveel anders liggen dan bij de oude versies:

1) CPU performance is in deze versie veel minder bepalend. Logisch want in 99% van de spellen is de CPU geen bottleneck en maakt het dus voor de performance niet uit of je een 2,5 of 3Ghz CPU hebt.

2) Dat betekent dat de score meer door de videokaart bepaald wordt, en verschillen in kaarten ook meer geaccentueerd worden.

3) Deze benchmark gebruikt AA en AF. Dat geeft enorme verschillen tussen bepaalde kaarten. Met name bv de GF4 vs 9700 serie. Dat geeft dus totaal andere verhoudingen dan in de oude 3D Mark versie waar dat niet gebruikt werd.

4) Ondanks dat de scenes wellicht niet altijd zo complex lijken zijn ze dat wel. Het is niet zo dat het zo slecht geprogrammeerd is dat ze daarom maar 6fps halen, maar omdat ze bv idioot veel polygonen en shaders gebruiken. Iets waarvan 3DMark verwacht dat in de toekomst in spellen normaal wordt.
Dat moet je dus niet vergelijken met de huidige spellen aangezien dat de doelstelling van die test helemaal niet is.

Wat dat betreft is 3DMark2003 dan ook niet bedoeld of geschikt als benchmark voor de huidige spellen, maar is het een benchmark voor toekomstige spellen.
(En toekomstige spellen zijn dan niet alleen DX9 spellen, maar ook veeleisende DX8 spellen die nog uit gaan komen)

Ik zit het nu thuis te bekijken, maar het blijkt dat 3DMark helemaal geen AA en AF gebruikt in de standaard test. Dat was dus onjuiste informatie die ik hier gelezen heb.
Dat maakt de zeer grote verschillen tussen de GF4 en 9700 kaarten weer een stuk minder vanzelfsprekend.