Android: Hersteller schummeln bei Benchmarks

Nicht nur Samsung, sondern fast alle führenden Smartphone-Hersteller haben offenbar mindestens eines ihrer Geräte modifiziert, um in üblichen Benchmark-Tests bessere Ergebnisse zu erzielen als bei realen Anwendungen. Aufgefallen war es zuerst bei Samsungs Android-Flaggschiff Galaxy S4 und danach beim Phablet Galaxy Note 3. AnandTech nahm das zum Anlass, um weitere Geräte in dieser Hinsicht genau zu überprüfen.

Dabei stellte sich heraus, dass die schon in früheren Jahren im PC-Bereich übliche Praxis inzwischen auch bei Smartphones üblich ist. Ausnahmen sind Apple und Motorola – und auch Google selbst nimmt mit seinen Nexus-Geräten nicht am diesem unfairen Wettlauf teil. Die anderen Hersteller hingegen sorgen dafür, dass insbesondere ihre Flaggschiff-Modelle weitverbreitete Benchmark-Tests erkennen und beispielsweise die Taktfrequenz von Anwendungs- und Grafikprozessoren erhöhen, um in Vergleichstests besser abzuschneiden.

LG ist zu attestieren, dass seine Optimierungen für Benchmarks weniger umfangreich als die von Samsung ausfallen. Samsung hingegen soll sich nicht auf Geräte mit ARM-Prozessoren beschränken, sondern auch beim auf CloverTrail+ basierenden Galaxy Tab 3 10.1 geschummelt haben. Dabei soll Intel – wie vermutlich auch Qualcomm – der unfairen Praxis sehr kritisch gegenüberstehen. Die Schummelei geht also offenbar nicht von den Chiplieferanten aus, die sich allerdings öffentlicher Kritik enthalten, sondern von den einzelnen OEM-Herstellern.

Samsungs aktuelles Galaxy Note 3 reagiert leistungssteigernd auf nicht weniger als sechs verschiedene Benchmarks, während es beim Galaxy S4 noch drei waren. Das HTC One erkennt vier Benchmark-Tests, darunter das verbreitete 3DMark. Auf nur zwei Benchmarks sprechen das LG G2 und das Asus Padfone Infinity an.

Für die Benchmark-Hersteller wie auch die Tester ist die offenbar unaufhaltsam vordringende Praxis mehr als ärgerlich, da es die Aussagekraft der Tests infrage stellt. Versierte Tester versuchen durch einen laufenden Wechsel ihrer Benchmark-Suite gegenzuhalten und benennen auch einzelne Benchmarks um, um ihre Erkennung zu verhindern. So ergibt sich ein Katz- und Maus-Spiel wie in den 1990er Jahren der PC-Ära.

Laut AnandTech bringen die Tricksereien den Herstellern letztlich relativ wenig: „Die Auswirkung auf unsere CPU-Tests macht 0 bis 5 Prozent aus, und sie liegt irgendwo unterhalb von 10 Prozent bei unseren GPU-Benchmarks, soweit wir das sehen.“ Die Tester raten den OEM-Herstellern daher dringend, „mit diesem Unsinn aufzuhören und stattdessen mehr Leistung und Energieeffizienz von ihren Chiplieferanten zu verlangen“.

Tipp: Sind Sie ein Android-Kenner? Überprüfen Sie Ihr Wissen – mit 15 Fragen auf silicon.de