Nieuwe nVidia 3DMark03 cheat ontdekt

De mannen van The Tech Report berichten dat nVidia, naast de onlangs ontdekte driver-modificaties voor 3DMark, meer trucjes uithaalt om de benchmark score op een oneerlijke wijze omhoog te krikken. Het blijkt dat wanneer 3Dmark.exe wordt hernoemd naar 3Dmurk.exe de score bij het gebruik van 8x anisotropic filtering aanzienlijk daalt. Op 1024x768x32 neemt de totale score af met 734 punten van 4029 punten naar 3295 punten. In het verleden gebruikte ATi eenzelfde techniek om Quake III scores omhoog te peppen:

In a funny twist of fate, I got a tip earlier this week about NVIDIA's Detonator FX drivers. The allegation: if you rename 3DMark03.exe to something else and run the benchmark with anisotropic filtering enabled in the drivers, test scores drop. In other words, NVIDIA appears to be using the same lame technique ATI did way back when: keying on the program's filename in order to trigger benchmark "optimizations." In this case, those optimizations appear to be a lower quality form of texture filtering than the anisotropic filtering method selected in the driver control panel. Many review sites like us benchmark cards with anisotropic filtering and edge antialiasing turned on, so these things do matter.

Keep in mind, now, that this goes beyond the eight specific Detonator FX "cheats" FutureMark identified in its audit report. This is in addition to all of those things, and this one works with the latest release version of 3DMark, build 330. It appears NVIDIA has taken yet another measure, which FutureMark didn't catch in its audit, in order to boost scores in 3DMark03.

Reacties (136)

[Verwijderd]

Toch klopt er iets niet. Immers je prestatie gaan omhoog zodra het desbetreffende programma wordt gebruikt. Dit betekent:

• 1. je videokaart past de software aan en manipuleert de getallen 2. je videokaart optimaliseert je PC in een fractie van een seconde en zet hem bij het afsluiten van het programma weer in de oude slecht performance situatie terug 3. je videokaart haalt wat foefjes uit om een zo goed mogelijk beeld te krijgen zonder dat je het merkt. Immers je zet AF enzo niet aan omdat het leuk is maar omdat je een mooier beeld krijgt. Niemand heeft blijkbaar een performancedrop in beeldprestatie gezien.

Persoonlijk denk ik dat het optie 3 is

Hoe erg is dit? Elk spel heeft een keuzemenu ingebouwd waar je je hardware kunt instellen en je videokaart kan instellen. Je keist daar het merk en de softwarebouwers gaan dan hun voor jouw kaart geoptimaliseerde instellingen gebruiken. Dat mag wel, maar waarom mag het omgekeerd niet? Zou eigenlijk veel beter zijn. Hoef je ook nooit meer te kiezen en te klooien met het aan- en uitzetten van AF en dan 1,2,3,4,5,6,7,8x proberen wat het snelste werkt met het beste beeld.

[warp]

3. je videokaart haalt wat foefjes uit om een zo goed mogelijk beeld te krijgen zonder dat je het merkt. Immers je zet AF enzo niet aan omdat het leuk is maar omdat je een mooier beeld krijgt. Niemand heeft blijkbaar een performancedrop in beeldprestatie gezien.

Persoonlijk denk ik dat het optie 3 is

Als je nu even de moeite had genomen om het hele artikel door te lezen i.p.v zo maar wat aan te nemen, dan had je ook kunnen zien dat de beeldkwaliteit wel degelijk minder wordt door deze cheat.

Dit hebben ze namelijk ook getest in bovenstaande artikel:

However, using some image editing tools, we can easily identify the differences.

The image below is the result of a mathematical "diff" operation between the two full-size screenshots linked above. We've enhanced the image using a histogram function in order to make the differences more visible. Here's the result.

Texture filtering methods do indeed appear to have changed when we renamed the executable file.

[Madrox]

dat is natuurlijk een leuke gedachte, maar helaas doen ze het niet zo. Voorlopig mag je zelf de sliders verplaatsen, waarvan je mag verwachten dat ze doen wat jij "zegt". Je mag het verwachten, je hoort het ook te verwachten; of het ook werkelijk gebeurt durf ik niet meer met 100% zekerheid te zeggen.

Dank u , chip-bakkers

[Verwijderd]

ik vraag me af of door al die optimalisatie cheats de drivers niet trager zijn..
er wordt blijkbaar toch heel wat vergeleken om dan de optimalisaties te starten in de drivers..

[Swinnio]

Blijkbaar niet
Maar serieus, het testen op de bestandsnaam van de uitgevoerde executable is natuurlijk een fluitje van een cent. Om er vervolgens voor te zorgen dat in dat geval andere "instellingen" worden gebruikt, kan ook nooit heel moeilijk zijn. Immers, m.b.v control panel en alle andere instellingen heb je deze functionaliteit allemaal al nodig. Het enige nieuwe is het feit dat het ditmaal niet door de user wordt ingesteld, maar automatisch wanneer "3DMark.exe" herkend wordt.

[Schmoove]

Daar gaan we weer. NVidia zet hiermee haar eigen imago op het spel en maakt gelijk van 3DMark een nutteloze benchmark.... Way to go nVidia!!! Idioten....

[Magic]

3d mark heeft van zichzelf een nutteloze benchmark gemaakt aangezien het veel te weinig aspecten van een videokaart test, en aangezien een CPU ook nog een grote vinger in de pap heeft bij het spellen van spelen, terwijl 3dmark 2003 alleen de videokaart test. madonion ( of futuremark nu) heeft van zijn benchmarkprogramma een veredelde screensaver gemaakt die mensen met minder verstand van pc's doet kwijlen, maar niet goed laat nadenken over hun aankoop.

btw wel erg stom van Nvidia. ze hadden kunnen weten dat men achter de truukjes zou komen.

[Verwijderd]

je "test" een videokaart NIET alleen met 3dMark natuurlijk. Iedereen weet dat en in ook elke review word naast 3DMark ook games e.d. getest. En 3DMark kan niet elk afzonderlijk aspect van elke videokaart (van elke fabrikant) in zijn benchmark zetten. De benchmark is trouwens gemaakt in overeenstemming met oa MS, de videokaartfabrikanten en de gameindustie. Dus jouw opmerking dat 3DMark een nutteloze benchmark is geworden klopt voor geen meter.

Ook jouw opmerking dat het stom van Nvidia was, omdat ze toch wel achter de truukjes komen..... Ehm hallo? Het is stom dat Nvidia dit UBERHAUPT doet.

[Krankenstein]

Met 3DMark wordt tegenwoordig alleen nog getest wat de videokaartenfabrikanten willen laten testen, omdat zij betalen. Verder zorgt MS er wel voor dat de nieuste snufjes DirectX worden getest, en geen OpenGL. De gameindustrie zorgt vervolgens nog voor de reclame voor hun games.

Nee 3DMark hoeft eigenlijk niet meer voor mij
Neem dan een zooi games en benchmark die met een standaardresolutie/standaardinstellingen. Dat lijkt mij een stuk betrouwbaarder.

[bogy]

de wildcat's zijn dan ook geen GAME 3d kaarten....

[Parody]

Intel is dus wel een videokaartfabrikant. Kijk maar eens wat er in veel OEM moederborden (Compaq bijvoorbeeld) geintegreerd is. OK, zit welliswaar in de chipset, maar toch...

[mjtdevries]

DELL is geen videokaartenfabrikant
Microsoft is geen videokaartenfabrikant
AMD is geen videokaartenfabrikant
Intel is geen videokaartenfabrikant
Creative is geen videokaartenfabrikant
ExtremeTech is geen videokaartenfabrikant
Beyond3D is geen videokaartenfabrikant

Maar ja, bovenstaande bedrijven spannen natuurlijk allemaal met ATI samen tegen Nvidia he?

[mvt]

Creative is eigenaar van de Wildcat serie van videokaarten

[Glashelder]

Maar ja, bovenstaande bedrijven spannen natuurlijk allemaal met ATI samen tegen Nvidia he?

Dat wil nVidia ons doen geloven ja, maar dat slaat natuurlijk nergens op

[mjtdevries]

Ok ok...
Dus in 3DMark wordt getest wat Intel en Creative willen dat er getest wordt?

Denk niet dat veel mensen het daar mee eens zijn.

[Schmoove]

Ik ben het met je eens dat 3DMark sowieso een dubieuze benchmark was.
Echter het feit dat ze, zoals jij zegt, voornamlijk de videokaart testen en minder de invloed van de CPU, vind ik alleen maar positief.
Het is ook een benchmark om je videokaart aan de tand te voelen, het zou opzich de kracht van je videokaart moeten meten, zodat je gebaseerd op een resultaat een videokaart aan kan schaffen.
Als je ook de CPU er bij gaat testen kunnen er hele vertekende uitkomsten optreden.

Dat nVidia optimaliseert voor 3Dmark kan me nog het minste schelen. Het feit dat het de consument belazerd vind ik erger. Kijk je naar 3Dmark dan beloven ze heel wat... wat ze er niet bij zeggen is dat de real-life performance zo'n 20 tot 30% lager kan liggen.

Het is 1) niet goed voor de consument, 2) niet goed voor Futuremark (die kan 3Dmark in de prullenbak gooien... niemand die ze nog serieus neemt) en 3) niet goed voor nVidia zelf, dit kan en zal waarschijnlijk hun imago flink schaden.

Als je dan ook nog kijkt dat ze hoog van de toren stonden te blazen toen ATi het Quake/Quacke geintje uithaalden.... en nu PRECIES hetzelfde doen. Ach ja ik kan ze echt niet meer serieus nemen. nVidia is in mijn ogen gewoon en slechte verliezer.

[KompjoeFriek]

Ik heb daar voor een stage opdracht een tijdje geleden een onderzoekje in gedaan, en kwam tot de simpele conclusie dat je CPU, Geheugen en je driver heel veel met de uitslag van een dergelijke benchmark kunnen doen, het kan soms zelfs 200% veranderen als je hier en daar wat aanpast...
lekkere betrouwbare benchmark-tool heb je dan...

om er ff wat dieper op in te gaan, het geheugen (type en hoeveelheid tot een 256mb en +) en de driver gaven de grootste veschillen, niet de cpu.
Bij tnt2 gebazeerde kaarten deden nieuwe drivers het 't beste, bij de GeForce serie (2) deden de wat oudere versie het beter.
Is toch behoorlijk raar, of nie?

(en ja, gaat behoorlijk wat tijd inzitten, steeds maar wat veranderen en nog eens benchen met 3Dmark2001... was trouwens al meer dan een jaar geleden...)

[Verwijderd]

dat de cpu niet zoveel uitmaakt maakt ontzettend veel sense toch ? tis puur een grafisch festijn.. gewoon een filmpie realtime renderen.. geen game logic of zo verder..

[liberque]

Het is ook een benchmark om je videokaart aan de tand te voelen, het zou opzich de kracht van je videokaart moeten meten, zodat je gebaseerd op een resultaat een videokaart aan kan schaffen.

Omdat het makkelijk is om de performance van je nieuwe videokaart in combinatie met je bestaande systeem te toetsen aan je oude videokaart, wilt nog niet zeggen dat 3dmarks een bench specifiek voor 3d kaarten is.

Zover ik had begrepen was het juist een game performance benchmark voor het hele systeem. Dus de uiteindelijke uitslag wordt bepaald door zowel de gpu alsmede de rest van het systeem. Waarom zouden ze immers de audio tests ook meenemen in resultaten?

Klein stukje van de site van futuremark:

The high quality game tests, image quality tests, sound tests and others give you an extremely accurate overview of your system’s current gaming performance. Benchmarking has never been so good!

[boesOne]

Opzich heb je gelijk dat 3Dmark2K3 een beperkte bench is die een vertekend beeld kan geven van de realworld prestaties van een kaart. MAAR cheaten blijft cheaten.

En deze is wel heel doorzichtig en gaat nV nog jaren achtervolgen net zoals ATi's Quake cheat ze nog steeds achtervolgt.

Het lijkt erop dat nV zich erg bewust is van de beperkte kwaliteiten van de Fx serie qua rauwe performance, en dat terwijl ze net leuk in nieuws waren mbt Doom3 dat zo lekker loopt door dat shaduw geintje..

[RetepV]

En deze is wel heel doorzichtig en gaat nV nog jaren achtervolgen net zoals ATi's Quake cheat ze nog steeds achtervolgt.

Ik was het eigenlijk al weer vergeten...

Tenslotte gaat het toch om kaarten die veel te duur waren/zijn en ik doodsimpel niet zal kopen totdat de prijs rond de 150 euro komt te liggen. Tegen die tijd zijn de *echte* kinderziektes ook wel bekend en geloof me, de kinderziektes in die kaarten zijn vast een stuk erger dan dit gecheat.

Storm in een glas water vind ik het.

Niet dat het netjes is, maar de gevolgen bij het grote publiek en een groot gedeelte van de 'tweakers' (namelijk degene die niet het geld hebben om 'power user' of 'early adopter' te zijn) zijn zo beperkt dat het over het geheel gezien toch niets uitmaakt voor ATI of nVidia.

Heeft ATI minder verkocht door die 'cheat'? Echt niet. En zo ja, dan zal het maar 0,0001% minder zijn geweest.

En dan nog, dan hebben ze gecheat, naar welke andere kaartbouwer wou je dan lopen? It's a dirty job, but somebody's gotta do it.

[boesOne]

Maar hoe denk je dat nV aan zijn status is gekomen nu? Waarom is het gros van de kaartjes van zo rond 150,- door nV gemaakt.

Ik denk juist dat nV door te laten zien dat ze voor een langere periode de performance kroon konden vasthouden, ze een imago hebben opgebouwd dat ervoor zorgt dat ze dé leverancier van midden segment kaartjes werden..

Nu ATi langzij komt, met het gevaar dat ATi's 9x00 serie de default kaart van de OEMs gaat worden, heeft nV dus een serieus probleem. ATi's ster rijst snel. En zolang duurt het niet dat het publiek door heeft : Radeon == performance.. Terwijl nu het magische woord geForce nog werkt.. en in dat imago zit dus de cash.. [denk ik]

[shades]

Ik had in de vorige draad over die 'fenomeen' al opgemerkt dat de tool nutteloos zou worden.

Vraagje.. wat is nou wel een goede benchmarking tool voor 3d video kaarten ?

[TheOneLLama]

nvidiots

[0rbit]

Het is gewoon een feit; Misschien dat je het je niet meer kan herinneren maar de drivers die Ati destijds maakte voor haar videokaarten detecteerden simpelweg of Quake 3 werd uitgevoerd, omdat dat destijds een toonaangevende benchmark was voor nieuwe videokaarten. Vervolgens zorgde de driver ervoor dat de texturekwaliteit verlaagd werd om er zo wat meer frames per seconde uit te persen.

Ik denk dan ook niet dat sprake is van een troll, aangezien het toch echt om de feiten gaat...

[Madrox]

zo ver ik weet (en gelezen heb) ging het om "maar" 5 textures. En verder had t iets te maken met de toen nieuwe core ofzo. M.a.w. het vette cheaten valt wel mee. Ook toevallig was dat kyle van [h]ardcop met het nieuws kwam, nieuws dat rechtstreeks uit de hoge hoed van Nvidia kwam. Als je nu weer ziet hoe kyle reageerde op het 3Dmark gebeuren frons ik mijn wenkbrauwen

[himlims_]

Nieuwe nVidia 3DMark03 cheat ontdekt

Nu vraag ik me af; is er ook gekloot met de oudere versies: '00, '01, '02 en zo ja; welke drivers en hoe hebben ze ons dan misleid?

Ik weet wel dat ik zelf geen nVidia kaart meer koop; dit is toch geen marketing -> dit is gewoon zwaar naaien.
Ik kijk altijd naar benchmarks en zo; dan vind ik dit wel een strop hoor

//edit
overbodig? ik wil toch echt wel graag weten hoe vaak en hoe hard nvidia mij nu van achter heeft genomen

[Krankenstein]

Je moet gewoon kijken naar scores bij gamebenchmarks. Die geven immers (meestal) de juiste performance verschillen aan.

[blouweKip]

Ach, ik wil eerst weten waarom die score lager is, en daarnaast: als het waar is is het niet goed te praten maar vergeet niet dat bijvoorbeeld ati dit soort trucjes ook heeft uitgehaald..

maw: who cares, 3dmark is nooit een goede benchmark geweest en iedereen cheat wel eens

[mjtdevries]

"wel eens" ??

Het laatste jaar doet Nvidia niets anders...

[LollieStick]

je praat voor je beurt... dit is slechts de 2e "cheat" die bekend is geworden (1e na de driver optimalisaties).

Blaten dat ze het hele jaar niets anders doen is zware onzin. Misschien dat ze er al wel langer in gezeten hebben, dan nog is het grote onzin. Je moet niet alleen naar 3dmark kijken. Zit je 24/7 3dmark te draaien om te kijken of je over 10 minuten weer een mark hoger hebt

Wees reeël, dat doe je niet. Je koopt een zware kaart om games op fatsoenlijke frame rates te spelen. Ga daar dan naar kijken en vergelijk de beeldkwaliteit / frameverhouding.

[mjtdevries]

2de? Dan ben je er toch al heel wat vergeten:

- lagere kwaliteit dan vereist in 3DMark doordat ze FP16 en FX12 gebruiken ipv de vereist minimale 24bit. (wat dus bij de FX kaarten FP32 betekent)

- Drivers die een heleboel objecten niet tekenen in 3DMark03. Zoals bv de kogels. Heeft opgebreid op GOT gestaan.

Dat was al voor de 5900 introductie.
En dan verder nog de lading cheats die Futuremark pas geleden gedocumenteerd heeft, en dan nu dit weer.

Ik weet niet hoe jij telt, maar je kan toch echt niet volhouden dat dit de 2e cheat is en het is ook niet iets van de laatste weken.

Nvidia doet dit al sinds de 5800.

En je hebt helemaal gelijk als je zegt dat je niet alleen naar 3DMark moet kijken. Dat doet Nvidia ook niet, want kaarten verkopen doe je niet alleen maar met goede scores in 3DMark.
Daarvoor moet je goede scores hebben in 3DMark, en de 5 timedemos die door alle review sites gebruikt worden. Daar heeft nog niemand naar cheats gezocht, maar dat zal nu hopelijk eens gaan gebeuren. Want de kans dat NVidia alleen maar in 3DMark03 heeft gecheat en niet in de timedemos is ongelooflijk klein geworden.

[Leipo]

dan moet je ook geen ATI kopen want die hebben het in het verleden ook wel gedaan

blijven er niet veel kaartenbakkers over voor je gameverslaving

[mjtdevries]

Die hebben hun leven gebeterd.

[sid3windr]

Heh, daar zaten ook cheats voor ja, maar die zijn lang geleden al ontdekt en verwijderd.

ps. iets wordt hernoemD niet hernoemt.

[BAWLS]

Schandalig dat je als consument zo in de maling genomen wordt.

Ik vraag me trouwens af op dit soort praktijken strafbaar zijn? Het is een vorm van misleiding.

[theXE]

Het is maar wat je overhebt, als bedrijf zijnde, om je naam op de één of andere manier hoog te houden. Al is dat nou kunstmatig of natuurlijk. nVidia kiest dus voor kunstmatig.

[Verwijderd]

Tijd om het hele benchmarken van 3d kaarten is eens te veranderen.

Tests voor het meten van raw mathematical performance & precisie

Test voor beeld kwaliteit.

Test van 3d engines waarbij alle optimalisaties zijn toegestaan en dan een cijfer geven voor performance en beeldkwaliteit!

Soms is het geringe en nauwelijks waarneembare verlies van beeldkwaliteit verandwoord om de snelheid te verhogen. Het gaat om de beleving van de Game, Die moet snel zijn en er mooi uit zien. Waarom de game trager maken om voor mensen die een screenshot maken en deze met photoshop analyseren te vreden maken. Die kunnen met test 1 en 2 zien wat een gfx kaart waard is!

[n-i-x]

Zoiets is natuurlijk wel een leuk idee, maar laat de mensen het dan zelf instellen, en doe dat niet alleen bij benchmarks.

[VTec]

Ik begin nu ook pas te begrijpen waarom die nVidia drivers steeds groter worden qua formaat

[Madrox]

Nog even en ze doen er complete *.AVI's in ;+

[Madrox]

Reacties als "wie speelt er 3Dmark" en "3Dmark is toch waardeloos" komen onderhand mijn oren uit.
En dat zeg ik, die zelf ook niet zoveel waarde hecht aan die benchmarks. Eigenlijk alle benchmarks.

3Dmark was jarenlang de! benchmark voor de tweakers, overklokkers etc.etc. Wat ik er ook van vind doet er niet toe, die jongens hadden er lol in.
Het is gratis, je kan een enorme database aanspreken waar geen enkele reviewer tegenop kan.
't is ook niet voor niets de grootste en populairste 3D-benchmark geworden. Daarom vind ik het onterecht dat het nu door velen zwaar afgezeken word, terwijl het allemaal best wel meevalt. Maar ja, aan wie zouden we dat te danken hebben.....

Waar ik me wel druk om maak en waar ik nu een hard hoofd in krijg = Hoe betrouwbaar zijn die menu's eigelijk waar je je 3D settings doet
Zeker mensen met een Nvidia kaart hebben alle reden om hieraan te twijfelen. Als ik zeg , 8x AF. Krijg je het dan ook 't is toch te gek voor woorden dat je hiet uberhaupt over na moet denken.

Alle settings moeten doen zoals staat beschreven wat ze doen, zonder voorbehoud of omstandigheid whatever. Hidden "truukjes" voor jouw bestwil houden ze maar voor zich. Als er een spel is wat niet lekker draat met FSAA, kom er gewoon voor uit en meld het ipv. stieken dingen doen achter je rug om...

Just my 0.02c

ps: typo's

[Verwijderd]

Je hebt daar in ieder geval een punt. Maar het feit dat "vroeger" die scores relevant waren waren wil niet zeggen dat dat nu nog zo is. De huidige benchmarks kunnen met cheaten of niet geen algemeen geldend beeld meer geven. Het feit dat er gecheat wordt kan makkelijk opgelost worden. Je kan ook gewoon een mooi programma maken dat een GPU gaat testen door hem een aantal "berekeningen" te laten doen. Niet door punten te plakken op de snelheid waarmee een 3D animatie gerenderd wordt. Gewoon een vast aantal. Nu zou het ook een vast aantal moeten zijn maar dat is niet zo.
Maar ik vraag me wel af waar Matrox in dit plaatje past. Zij zijn voorlopig overal als ondermaats uit de bus gekomen. Maar nu we hier te zien krijgen dat er vrolijk door ati en vooral door nVidia gecheat wordt vraag ik me af of de conclussie dat de Parhelia niet meekan wel terecht is. Want ik heb een tijdlang met een parhelia gewerkt en nooit ondervonden dat die kaart echt slecht presteerd.

[Mentalist]

Wat moeten we hier van denken... "De kaart is niet snel genoeg, dus we cheaten maar wat zodat we er in 3Dmark iig als snelste uitkomen..."

Nota bene na zo'n nieuwe build van 3Dmark waarin een aantal cheats uitgezet zijn, heeft nVidia er doodleuk nog 1 achter de hand, zonder daar ook maar iets over te zeggen. Leuk. Als nVidia zo doorgaat verdwijnen ze nog 'ns van de markt. Mark my words.

Zou ik overigens heel jammer vinden. Zonder nVidia hebben we voorlopig alleen ATi nog over (al zal er wel een andere fabrikant in het gat springen van snelle videochips), en het is bekend wat er gebeurt als er nog maar 1 bedrijf iets levert... Dat worden prijsstijgingen

Maargoed, zover is het dus nog niet. Laten we hopen dat nVidia snel stopt met deze onzin.

[FireDrunk]

das niet waar Nvidia verdwijnt nog niet snel denk ik...
hun markt percentage zal terug lopen maar dat ATI alleen heerser word denk ik niet...
want als Nvidia zijn vertrouwen verliest zal het waarschijnlijk zijn prijzen omlaag gooien om nog een goeie omzet te maken ist niet?

[_Droopy]

Tsjongejonge, how deperate can you get?

Als je nou als kaarten bakker niet van de concurentie kan winnen, dan zorg je toch dat je op andere gebieden bovenaan de lijst komt te staan?
kijk naar amd, die red het niet om het hoogste aantal MHz's neer te zetten, maar pakt wel het meeste prestatie uit het aantal MHz's dat ze wel halen.
Ik kan me erg moeilijk voorstellen dat ze niet op een eerlijke manier boven ATI's scores uit kunnen komen.
Of misschien moeten ze zich idd op een ander vlak van het brede begrip "performance" richten, soms is het beter om je meerdere te onderkennen en kijken waar je eigen sterke punten liggen.