Benchmark-Streit: Apples neuer Power Mac G5 im Zwielicht

Mit der Vorstellung des neuen Power Mac G5 beginnt für Computerhersteller Apple das 64-Bit-Zeitalter. Firmengründer Steve Jobs gab während der offiziellen Vorstellung auch einige Benchmarkwerte bekannt, nach denen der Power Mac G5 der schnellste PC der Welt ist.

Im Vergleich zur bisherigen Architektur hat Apple in Zusammenarbeit mit Prozessorhersteller IBM, der den G5 fertigt, tatsächlich eine sehr leistungsfähige Architektur entwickelt. Ähnlich wie beim Opteron und demnächst beim Athlon 64 laufen auf dem 64-Bit-Prozessor auch 32-Bit-Anwendungen mit voller Performance ab. Dass dies nicht selbstverständlich ist, beweist Intel mit der Itanium-Architektur, die nur eine sehr mäßige 32-Bit-Performacne bietet. Zudem ist der G5 auch für das Dual-Processing ausgelegt. Wie bei der Athlon MP-Architektur verfügt dabei jede CPU über eine eigene Verbindung zum Speicher, während die Daten bei Intel-CPUs ein und denselben Weg zum Speicher und zurück benutzen müssen. Die Anbindung des G5 an den Speicher mit einem DDR-FSB und einer Taktrate von 1 GHz ist Apple besonders leistungsfähig gelungen. Beim Speicher herrscht hingegen Hausmannskost in Form einer Dual-DDR400-Anbindung. Insgesamt erzielt der G5 eine FSB-Datenrate von 8 GByte pro Sekunde – im Dual-Betrieb sind es sogar 16 GByte/s – und einen Speicherdurchsatz von 6,4 GByte/s. Die Intel-Plattform mit FSB800 erzielt hingegen nur eine Datentransferrate von je GByte pro Sekunde bei FSB und Speicher. Im Dual-Betrieb hat Intel noch keine FSB800-Technik eingeführt. Daher erreicht ein Dual-Xeon-System lediglich eine 4,2 GByte pro Sekunde schnelle Anbindung zwischen CPU, FSB und Speicher.

Apple und x86-Plattform im Vergleich

Hersteller	AMD	AMD	AMD	Apple	Intel	Intel
Prozessor	Opteron	Athlon XP	Athlon MP	IBM Power 4	Pentium 4	Xeon
Modell	244	3200+	2600+	G5	3,2	3,06
Architektur	64 Bit	32 Bit	32 Bit	64 Bit	32 Bit	32 Bit
maximale Takt- frequenz	1,8 GHz	2,2 GHz	2,13 GHz	2,0 GHz	3,2 GHz	3,06 GHz
L1-Cache (Instruction)	64 KByte	64 KByte	64 KByte	64 KByte	12 K µ-Ops	12 K µ-Ops
L1-Cache (Data)	64 KByte	64 KByte	64 KByte	32 KByte	8 KByte	8 KByte
L2-Cache	1024 KByte	512 KByte	256 KByte	512 KByte	512 KByte	512 KByte
FSB- Bandbreite	14,4 GB/s	3,2 GB/s	2,1 GB/s	8 GB/s (Dual 16 GB/s)	6,4 GB/s	4,2 GB/s
Speicher- Bandbreite	10,6 GB/s (Dual)	6,4 GB/s	2,1 GB/s	6,4 GB/s	6,4 GB/s	4,2 GB/s

Dass Apple während der Vorstellung der Benchmarks nicht näher auf die 64-Bit-Architektur von AMD eingegangen ist, hat seinen Grund. Der Opteron bietet einen integrierten Speichercontroller innerhalb der CPU. Daher skaliert die FSB-Bandbreite mit dem Takt der CPU. Beim derzeitigen Spitzenmodell mit 1,8 GHz beträgt die Durchsatzrate 14,4 GByte pro Sekunde. Zudem ist auch das Speicher-Interface des Opteron leistungsfähiger. Die offiziellen SPEC-Werte des Opteron liegen daher auch weit über denen des G5. Auch gegenüber der Intel-Plattform hat der G5 das Nachsehen. Apple hat die Intel-Architektur in einer völlig praxisfremden Umgebung getestet und kommt daher für den G5 zu deutlich besseren Leistungswerten. Die folgenden Benchmarks zeigen die Einzelheiten.

Zum ersten Mal veröffentlicht PC-Hersteller Apple SPEC-Performancewerte für die eigene Rechner-Plattform. Die bisherige Zurückhaltung diesbezüglich liegt wohl an der im Vergleich zur x86-Architektur deutlich schlechterer Leistung bei diesem Benchmark.

Der CPU2000-Benchmark der Standard Performance Evaluation Corporation (SPEC) dient als Leistungsindikator für den Vergleich unterschiedlicher CPU-Architekturen. Sämtliche in dem Benchmark enthaltenen Programme liegen im Quellcode vor und können mit einem Compiler auf die jeweilige Architektur als Anwendung zum Laufen gebracht werden.

Apple hat die Benchmarks von der nach eigenen Angaben unabhängigen Firma Veritest durchführen lassen. Ganz so unabhängig ist es bei der Durchführung der Benchmarks allerdings nicht zugegangen, wie folgendes Statement auf der ersten Seite des Test-Reports zeigt:

„Test report prepared under contract from Apple Computer“

Zudem sind viele Brancheninsider überrascht, dass das Intel-System nicht mit Windows, sondern mit Linux getestet wurde. Mit einem Windows-System erreicht die Intel-Plattform deutlich höhere Werte als der neue G5 von Apple. Dank optimierter C++-Compiler von Intel, die im Übrigen auch AMD für die Leistungsermittlung der Opteron- und Athlon-Plattform verwendet, sind x86-Rechner bei den SPEC-Benchmarks besonders schnell. Apple hat das auch erkannt und daher keinen Intel-Compiler verwendet, da man ja die Performance der Hardware testen wolle und nicht die Leistungsfähigkeit des Compilers.

Der verwendete GCC-Compiler kommt zwar beim Apple-Test auf allen Plattformen zum Einsatz. Allerdings werden unterschiedliche Einstellungen vorgenommen, die die G5-Plattform klar bevorteilen.

„Installed a high performance, single threaded malloc library. This library implementation is geared for speed rather than memory efficiency and is single-threaded which makes it unsuitable for many uses. Special provisions are made for very small allocations (less than 4 bytes).“

(siehe auch Seite 5, Appendix E, Seite 26, Veritest PDF)

Trotz dieser Nachteile erzielt der Pentium 4 mit 3 GHz auch bei dieser Testmethode eine 10 Prozent höhere Leistung als der von Apple als „schnellste Workstation der Welt“ bezeichnetet Rechner.

Auch bei der Ermittlung der FPU-Performance (SPECfp 2000) werden einige seltsame Compiler-Einstellungen vorgenommen. Zum einen wird die SSE2-Einheit des P4 nicht aktiviert, sondern die SSE1-Einheit, obwohl der Compiler auch die SSE2-Einheit erzeugen kann.

„Appendix F. Dell Dimension 8300 and Dell Precision 650 GCC 3.3 Compiler Option Descriptions
[…]
-mfpmath=sse
Generate floating point arithmetics for sse. […]
(siehe auch Appendix F, Seite 27, Veritest PDF)

The following changes have been made to the IA-32/x86-64 port:
SSE2 and 3dNOW! intrinsics are now supported.
(siehe auch GCC 3.3 Release Series
Changes, New Features, and Fixes )

Da beim FPU-Benchmark SPECfp 2000 zehn Fortran und nur vier C-Programme zum Einsatz kommen und der Nagware-Fortran-Compiler so gut wie keine Intel-Optimierungen enthält, ist Apples G5 nach dieser Testmethode klar schneller als die Intel-Architektur. Mit dem vom Intel-Compiler erzeugten Program-Code ist der Pentium 4 jedoch klarer Sieger.

Wie wichtig respektive sinnvoll der Einsatz der SSE2-Einheit ist, zeigt eine Performance-Analyse von Dell. Während bei diesem Test ein Pentium 3/1 GHz mit herkömmlichen x87-Code fast fünfmal schneller als ein P4/2GHz ist, kann der P4 mit aktiver SSE2-Einheit die Laufzeit des Programms von 111 Sekunden auf 2,8 Sekunden reduzieren. Damit ist der P4 nun neunmal schneller als der P3.

Compiler	GCC	Intel
P3/1 GHz	24,586 s	25,161 s
P4/2 GHz	111,94 s	2,826 s

(siehe auch IEEE 5th Annual Workshop on Workload Characterization)

Für die Dual-Benchmarks gelten prinzipiell die gleichen Einwände gegenüber der Apple/Veritest-Testmethode wie bei den Single-CPU-Benchmarks. Schließlich werden bei diesem Test lediglich die einzelnen Benchmarkprogramme jeweils zweimal gestartet und gleichzeitig ausgeführt.

Dem Pentium 4 wurde die Arbeit hierbei durch die De-Aktivierung der Hyperthreading-Technik erschwert. Beim Single-CPU-Test, der durch die zweite logische CPU-Einheit definitiv nicht profitiert, war Hyperthreading hingegen aktiv und wurde auch durch die Verwendung des Multiprocessing-Kernels vom Betriebssystem unterstützt.

Nach der Apple/Veritest-Methode landet der neue Power MAC G5 im Dual-Betreb klar vor dem Dell-PC mit zwei Xeon-CPUs. Zieht man die von den Dell offiziell publizierten SPEC-Werte heran, landet der MAC hinter der Intel-Plattform. Deutlich an der Spitze liegt AMDs Opteron.

Zweifellos stellt der neuen Apple-Chip G5 eine großartige Weiterentwicklung für die Apple-Anwender dar. Die Messmethoden bei den SPEC-Benchmarks hinterlassen jedoch einen faden Beigeschmack.

Stattdessen hätte Steve Jobs mehr Benchmarkwerte mit realen Applikationen präsentieren und anhand dieser die Vorteile der neuen Architektur beleuchten sollen. Die präsentierten Photoshop-Tests zeigen, wie gut sich die Apple-Plattform gegenüber der x86-Welt in Szene setzen kann.

Bei den von Apple/Veritest präsentierten SPEC-Werten ist hingegen Vorsicht geboten. Allzu stark sollten die von Apple präsentierten Zahlen nicht verallgemeinert werden. Intel-Systeme können bei Verwendung optimierter Compiler deutlich bessere Werte erzielen. Aus diesem Grund setzt auch Intel-Erzrivale AMD auf die Compiler aus dem Hause Intel.

Ein fairer Vergleich der beiden Systeme auf Basis der SPEC-Benchmarks ist trotzdem möglich. Hierzu müssten beide Architekturen mit sämtlich zur Verfügung stehenden Optimierungs-Methoden gegeneinander antreten. Die Testmethoden von Apple/Veritest sind hingegen eindeutig zugunsten der G5-Plattform gestaltet worden. Für die x86-Architektur war offensichtlich kein Optimierungspotential mehr vorhanden. Ganz im Gegenteil: Apple/Veritest haben sich alle Mühe gegeben, die Intel-Plattform schlecht aussehen zu lassen. Schade auch, dass keine Vergleichswerte der bisherigen Apple-Architektur veröffentlicht wurden. Diese wäre doch gerade für Apple-User sehr interessant. Der zweifelhafte Vergleich zur Intel-Plattform dürfte wohl kaum zu einer massenhaften Abwanderung von P4-Usern ins Apple-Lager führen.

Think Different: Dank sehr zweifelhafter Messmethoden ist für Apple-Gründer Steve Jobs der neue Power MAC G5 der schnellste Rechner der Welt.

Weitere Links zum Thema

• Streit um schnellsten PC
• Standard Performance
  Evaluation Corporation

• Testdokumentation Apple/Veritest
• Performance-Analyse des G5 von einem Apple-User
• Apple-Benchmarks
• Fortran-Compiler unter Linux (PDF)