MI300X: AMD stellt Generative-AI-Beschleuniger vor

AMD hat einen neuen Chip namens Instinct MI300X vorgestellt, der für Arbeitslasten im Bereich Artificial Intelligence Computing entwickelt wurde. Er setzt sich aus verschiedenen Chiplets zusammen, um besonders hohe Übertragungsraten für Speicher und Daten zu erreichen.

Bei der Vorstellung des Instinct MI300X bezeichnete AMD-Chefin Lisa Su den Chip als Generative AI Accelerator. Seine Chiplets seien speziell für KI- und High-Performance-Computing-Arbeitslasten entwickelt worden. Im Gegensatz zum Instinct MI300A besteht der MI300X ausschließlich aus GPU-Chiplets vom Typ CDNA3. Beim MI300A setzt AMD auf eine Kombination aus drei Zen4-CPU-Chiplets mit mehreren GPU-Chiplets.

Dadurch, dass die CPU-Chiplets durch GPUs ersetzt werden, kommt der MI300X auf 153 Millionen statt 146 Millionen Transistoren. Zudem erhöht AMD den gemeinsam verfügbaren Arbeitsspeicher von 128 auf 192 GByte. Die Speicherbandbreite wird sogar von 800 GByte pro Sekunden auf 5,2 TByte pro Sekunde gesteigert.

„Die generative KI und große Sprachmodelle haben die Welt verändert“, so Su weiter. „Der Bedarf an mehr Rechenleistung wächst exponentiell, egal ob es um Training oder Inferenz geht.“ Der MI300X sei der erste Chip, der leistungsfähig genug sei, um ein neuronales Netz dieser Größe vollständig im Speicher zu betreiben, anstatt Daten zwischen externem Speicher hin- und herschieben zu müssen.

„Ein einzelner MI300X kann Modelle mit bis zu 80 Milliarden Parametern im Speicher ausführen“, ergänzte Su. „Wenn man den MI300X mit der Konkurrenz vergleicht, bietet der MI300X 2,4-mal mehr Speicher und 1,6-mal mehr Speicherbandbreite, und mit dieser zusätzlichen Speicherkapazität haben wir tatsächlich einen Vorteil für große Sprachmodelle, weil wir größere Modelle direkt im Speicher ausführen können.“

Um mit den DGX-Systemen von Nvidia zu konkurrieren, stellte Su eine Familie von KI-Computern namens AMD Instinct Platform vor. Das erste Exemplar dieser Plattform wird acht MI300X mit 1,5 Terabyte HMB3-Speicher kombinieren. Der Server entspricht dem Industriestandard Open Compute Platform spec. „Kunden können all diese KI-Rechenkapazitäten im Speicher auf einer Industriestandard-Plattform nutzen, die sich direkt in ihre bestehende Infrastruktur einfügt“, sagte Su.