Benchmark-Entwickler reagiert auf Tricksereien von Samsung und Sony

Der Benchmark-Entwickler Primate Labs hat Gegenmaßnahmen gegen die vergangenes Jahr entdeckten Schummeleien einiger Smartphone-Hersteller getroffen. Wie Firmengründer John Poole in einem Blogeintrag ausführt, wurde in das beliebte Geekbench 3 ein „boost detector“ integriert, der einen zusätzlichen Bericht in jedes in die Geekbench-Datenbank hochgeladene Benchmark-Ergebnis einbettet. Nach der Analyse tausender dieser Berichte konnte Primate Labs so die Android-Modelle identifizieren, die ihre Leistung beim Durchlaufen von Geekbench 3 um bis zu 20 Prozent anheben.

In der von Poole veröffentlichten Liste finden sich je fünf Produkte von Samsung und Sony. Konkret handelt es sich um die Galaxy-Modelle Note 10.1 (2014), Note 2, Note 3, S3 und S4 sowie die Xperia-Geräte Z, Z Tablet, Z Ultra, Z1 und ZL. Bei allen Geräten konnte der Boost nur unter Android 4.3 festgestellt werden. Frühere Android-Versionen, einschließlich 4.2.2, waren nicht betroffen.

„Um gegen das Benchmark-Boosting vorzugehen, haben wir entschieden, die Ergebnisse dieser Geräte mit Android 4.3 aus den Android-Benchmark-Charts zu entfernen“, schreibt Poole. „Auf diese Weise spiegeln die Ergebnisse der Rangliste die wirkliche Performance jedes Geräts wieder und nicht die erhöhte. Wir haben auch eine Liste ausgeschlossener Geräte hinzugefügt. Wir werden die Detector-Berichte weiterhin analysieren und diese Liste aktualisieren, falls wir weitere Geräte oder Android-Versionen entdecken, die einen Benchmark-Boost durchführen.“

Offenbar zeigt die Offenlegung der künstlichen Leistungsverbesserung bereits Wirkung. „Samsung hat den Benchmark-Boost aus seinem Android-4.4-Update entfernt“, so Poole. „Wir hoffen das Sony Samsungs Beispiel folgt und seinen Benchmark-Boost ebenfalls aus seinem Android-4.4-Update entfernt.“

Nachdem vergangenes Jahr Tricksereien in Benchmark-Tests bei Samsungs Android-Flaggschiff Galaxy S4 aufgefallen waren, hatten Technikseiten auch andere Smartphones und Tablets unter diesem Gesichtspunkt analysiert. AnandTech stellte dabei fest, dass nicht nur Samsung, sondern nahezu alle führenden Hersteller offenbar mindestens eines ihrer Geräte modifziert hatten, um in üblichen Benchmark-Tests bessere Ergebnisse zu erzielen als bei realen Anwendungen. Ausnahmen waren Apple, Motorola und Google selbst. Bei LG fielen die Optimierungen weniger umfangreich aus als bei Samsung.

Die meisten Hersteller sorgten dafür, dass insbesondere ihre Flaggschiff-Modelle weitverbreitete Benchmarks erkennen und beispielsweise die Taktfrequenz von Anwendungs- und Grafikprozessoren erhöhen, um im Vergleichstest besser abzuschneiden. Für Benchmark-Entwickler wie auch Tester ist diese Praxis sehr ärgerlich, da dadurch die Aussagekraft der Tests infrage gestellt wird.

[mit Material von David Morgenstern, ZDNet.com]

Tipp: Sind Sie ein Android-Kenner? Überprüfen Sie Ihr Wissen – mit 15 Fragen auf silicon.de