Benchmark-Streit: Apples neuer Power Mac G5 im Zwielicht

Zum ersten Mal veröffentlicht PC-Hersteller Apple SPEC-Performancewerte für die eigene Rechner-Plattform. Die bisherige Zurückhaltung diesbezüglich liegt wohl an der im Vergleich zur x86-Architektur deutlich schlechterer Leistung bei diesem Benchmark.

Der CPU2000-Benchmark der Standard Performance Evaluation Corporation (SPEC) dient als Leistungsindikator für den Vergleich unterschiedlicher CPU-Architekturen. Sämtliche in dem Benchmark enthaltenen Programme liegen im Quellcode vor und können mit einem Compiler auf die jeweilige Architektur als Anwendung zum Laufen gebracht werden.

Apple hat die Benchmarks von der nach eigenen Angaben unabhängigen Firma Veritest durchführen lassen. Ganz so unabhängig ist es bei der Durchführung der Benchmarks allerdings nicht zugegangen, wie folgendes Statement auf der ersten Seite des Test-Reports zeigt:

„Test report prepared under contract from Apple Computer“

Zudem sind viele Brancheninsider überrascht, dass das Intel-System nicht mit Windows, sondern mit Linux getestet wurde. Mit einem Windows-System erreicht die Intel-Plattform deutlich höhere Werte als der neue G5 von Apple. Dank optimierter C++-Compiler von Intel, die im Übrigen auch AMD für die Leistungsermittlung der Opteron- und Athlon-Plattform verwendet, sind x86-Rechner bei den SPEC-Benchmarks besonders schnell. Apple hat das auch erkannt und daher keinen Intel-Compiler verwendet, da man ja die Performance der Hardware testen wolle und nicht die Leistungsfähigkeit des Compilers.

Der verwendete GCC-Compiler kommt zwar beim Apple-Test auf allen Plattformen zum Einsatz. Allerdings werden unterschiedliche Einstellungen vorgenommen, die die G5-Plattform klar bevorteilen.

„Installed a high performance, single threaded malloc library. This library implementation is geared for speed rather than memory efficiency and is single-threaded which makes it unsuitable for many uses. Special provisions are made for very small allocations (less than 4 bytes).“

(siehe auch Seite 5, Appendix E, Seite 26, Veritest PDF)

Trotz dieser Nachteile erzielt der Pentium 4 mit 3 GHz auch bei dieser Testmethode eine 10 Prozent höhere Leistung als der von Apple als „schnellste Workstation der Welt“ bezeichnetet Rechner.

Auch bei der Ermittlung der FPU-Performance (SPECfp 2000) werden einige seltsame Compiler-Einstellungen vorgenommen. Zum einen wird die SSE2-Einheit des P4 nicht aktiviert, sondern die SSE1-Einheit, obwohl der Compiler auch die SSE2-Einheit erzeugen kann.

„Appendix F. Dell Dimension 8300 and Dell Precision 650 GCC 3.3 Compiler Option Descriptions
[…]
-mfpmath=sse
Generate floating point arithmetics for sse. […]
(siehe auch Appendix F, Seite 27, Veritest PDF)

The following changes have been made to the IA-32/x86-64 port:
SSE2 and 3dNOW! intrinsics are now supported.
(siehe auch GCC 3.3 Release Series
Changes, New Features, and Fixes )

Da beim FPU-Benchmark SPECfp 2000 zehn Fortran und nur vier C-Programme zum Einsatz kommen und der Nagware-Fortran-Compiler so gut wie keine Intel-Optimierungen enthält, ist Apples G5 nach dieser Testmethode klar schneller als die Intel-Architektur. Mit dem vom Intel-Compiler erzeugten Program-Code ist der Pentium 4 jedoch klarer Sieger.

Wie wichtig respektive sinnvoll der Einsatz der SSE2-Einheit ist, zeigt eine Performance-Analyse von Dell. Während bei diesem Test ein Pentium 3/1 GHz mit herkömmlichen x87-Code fast fünfmal schneller als ein P4/2GHz ist, kann der P4 mit aktiver SSE2-Einheit die Laufzeit des Programms von 111 Sekunden auf 2,8 Sekunden reduzieren. Damit ist der P4 nun neunmal schneller als der P3.

(siehe auch IEEE 5th Annual Workshop on Workload Characterization)