Stelling: ‘Benchmarks zijn onzin’

Stelling: ‘Benchmarks zijn onzin’

Een heus dopingschandaal in de tech-wereld! Niemand lijkt onschuldig, iedereen wordt gewantrouwd, de een na de ander gaat voor de bijl. Wat is er aan de hand? Fabrikanten van Android smartphones zijn betrapt op het misbruiken van benchmark-scores. Daardoor lijken de toestellen sneller en krachtiger dan zijn in werkelijkheid zijn. En dat is liegen, en liegen is stout.

Watskeburt?

Samsung viel door de mand. De Galaxy Note 3 is snel, dat mag geen verassing zijn. Maar toen ze bij techsite Arstechnica de resultaten van de benchmarks onder ogen kregen, bleek de Note 3 wel heul, heul erg snel. Zo snel zelfs dat ze onraad roken. Gelukkig weten de heren van Arstechnica wel raad met wat software. Dus trokken ze de Note 3 virtueel volledig uit elkaar en kwamen tot de ontdekking dat als het toestel een benchmark-programma herkent, de processor een beetje extra gas geeft.
Dat is niet erg, maar wel jammer dat dezelfde processor dat alléén bij het draaien van benchmarks doet. Dat levert een mooie score op, maar in dagelijks gebruik is de processor een stuk minder krachtig. In dit geval scheelde dat zo’n 20%. Toch de moeite. Maar Samsung is niet de enige. Anandtech ontdekte dat Samsung lang niet de enige is. HTC, Asus, LG, de meeste Android-fabrikanten spelen vals om hun toestellen sneller te laten lijken dan ze daadwerkelijk zijn.

Gebakken lucht

[three_fourth]
Consternatie in de tech-wereld. Want waar techsites normaal benchmark-programma’s als AnTuTu, Geekbench of 3DM gebruikten om objectief te kunnen beoordelen hoe snel een smartphone is, blijkt dat nu grotendeels allemaal gebaseerd op gebakken lucht. Elke zichzelf respecterende geek wil benchmarks zien in een review. Het liefst pagina’s vol met tabellen. Dan maakt het verder niet uit dat er al lag optreedt bij het wisselen van startscherm. Als hij maar goed scoort in Quadrant.

Bij Draadbreuk zijn we niet perse fan van dit soort benchmarks, om dezelfde reden dat we het niet interessant vinden dat een auto een topsnelheid van 300km/u heeft. Uiteindelijk gaat de Volvo van Ger net zo snel als ze in de avondspits over de ring rijden. Het gaat om gebruik in de dagelijkse praktijk. Vandaar de stelling:

[/three_fourth][one_fourth_last]

 

HTC, Asus, LG, de meeste Android-fabrikanten spelen vals

[/one_fourth_last]

 

‘Al die uitgebreide aandacht voor benchmarks is onzin’

 

 

Wij houden van discussie, jullie ook. Reageren mag dus in de comments! De leukste reacties zullen worden voorgedragen in het alomgeprezen techprogramma Uitbuiken, aankomende maandag. Mocht je je ongebreidelde mening niet op het internet durven te zetten? Een mailtje sturen mag ook: uitbuiken@draadbreuk.nl onder vermelding van – jawel – stelling.

Tot slot: ben je een Twitter-addict, dan geven we je ook daar een podium: reageer met de hashtag #draadbreukstelling

Foto: Arstechnica

4 reacties

  1. Sianto

    Helemaal mee eens, het gaat over de gebruikerservaring. Ik heb zelf onder andere de Nokia N9 met single-core processor, en hij voelt nog steeds high end!

  2. stijn v brummelen

    Ligt er heel erg aan. Als je zoals Samsung cheat in de benchmarkt wel. 3Dmark is bijv. Wel goed aangezien die de kernen op de max klokt.
    Alleen voor Android is het echt zinvol vindt ik. De BB z10 is net als bijv. De lumia 1020 heel snel met een dualcore processor door de os.

  3. Broodje_kaas

    Mee eens! Wedstrijden ‘verplassen’ zijn meestal niet erg interessant, laat staan wanneer er ook nog vals gespeeld wordt. Wat mij interessant lijkt: een test die het aantal beelden per seconden meet in de gebruikersinterface (oftewel, een realistische en vergelijkbare setting), zoals het scrollen door lijsten en het openen en sluiten van apps.

  4. jan

    ja tuurlijk is het onzin als de helft word gelogen.

Reacties zijn gesloten