Flüssigkeitsgekühlte High-Performance-Cluster

Um ihre medizinische Forschung voranzutreiben, hatte die Universität zu Köln den Bau des neuen IT-Clusters RAMSES initiiert, um das bisherige System CHEOPS zu ersetzen. Dieses Upgrade soll Software-Anwendungen in den Bereichen Astrophysik, Quantenphysik, Biowissenschaften und Genomanalyse unterstützen. Um die immensen Rechenleistungen bei komplexen wissenschaftlichen Simulationen zu bewältigen, wurde ein effektives Wärmemanagement unerlässlich, das die Zuverlässigkeit und Energieeffizienz der Server gewährleistet. Mit den Flüssigkeitskühlungslösungen von KAYTUS und NEC konnte das Rechenzentrum der Universität trotz verbesserter Leistung und hoher Datensicherheit die Kosten für die Kühlung um 40 Prozent senken.

RAMSES unterstützt umfangreiche Simulationen für komplexe wissenschaftliche Forschungen

Zur IT-Infrastruktur der Universität mit ihren vier Exzellenzclustern gehört das Regionale Rechenzentrum Köln (RRZK). Es beherbergt den im September 2024 vorgestellten Hochleistungscomputer RAMSES, der umfangreiche Simulationen für komplexe wissenschaftliche Forschungen unterstützt. Mit Grafikprozessoren (GPUs), die für die Durchführung von Berechnungen in Bereichen wie neuronale Netze, Pharmakokinetik und Proteinstrukturvorhersage entwickelt wurden, ist RAMSES in der Lage, die kritische Herausforderung zu bewältigen, Kernkomponenten über längere Zeiträume mit hoher Rechenlast und hohen Temperaturen zu betreiben. Die Universität zu Köln gewährleistet mithilfe dieser IT-Lösung die beste parallele bzw. serielle Leistung ihres HPC-Systems sowie höchste Sicherheit, Zuverlässigkeit und Energieeffizienz und wird so ihren komplexen Forschungsanforderungen gerecht.

Mit einer Rechenleistung von 4,8 PFLOPs – 48-mal mehr als beim Vorgängersystem – stellt das neue RAMSES-System für Wissenschaftler eine entscheidende Rechenressource dar. Das System umfasst 174 Knoten, die mit 384 CPUs mit insgesamt 31.576 Kernen und 74 GPUs ausgestattet sind und eine CPU-Leistung von 1,7 PFLOPs und eine GPU-Leistung von 3,1 PFLOPs bieten. Diese hohe Rechenkapazität unterstützt ein breites Spektrum von Forschungsbereichen und treibt so Innovation und Wissensbildung voran.

Ausstattung mit mehr als 140 flüssigkeitsgekühlten Knoten

NEC und KAYTUS haben das RAMSES-System mit über 170 Servern, darunter 1U2S-, 2U2S- und AI-Server, sowie mit mehr als 140 flüssigkeitsgekühlten Knoten ausgestattet, die für anspruchsvolle Anwendungen wie Gromacs für Molekulardynamiksimulationen und NWChem für computergestützte Chemie ausgelegt sind. Die Lösung umfasst flüssigkeitsgekühlte Serverschränke, eine Kühlverteilungseinheit (CDU) sowie ein komplettes Servicepaket inklusive Testverfahren und Implementierung.

„Die Analyse von klinischen Genomdaten ist kein klassisches Anwendungsgebiet für HPC-Systeme. Das ändert sich mit RAMSES – dank einer Ende-zu-Ende-Verschlüsselung während des gesamten Berechnungsprozesses und einer maßgeschneiderten Systemarchitektur, die derzeit in Deutschland einmalig ist“, erklärt Professor Stefan Wesner, Direktor des Regionalen Rechenzentrums Köln und Leiter der Abteilung für Informatik.

Hohe Server-Dichte & Flüssigkeitskühlung

Schlüsselkomponenten, um hohe Rechenleistung und Energieeffizienz zu erreichen, sind die flüssigkeitsgekühlten 1U2S-Knoten von KAYTUS, die jeweils mit zwei AMD Genova-Prozessoren mit jeweils 400 Watt Verbrauch pro Chip ausgestattet sind. Sie nutzen eine direkte Warmwasserkühlung, die den Einsatz von Systemen mit hoher Dichte in einem einzigen Serverschrank ermöglicht. Diese leitet die Wärme von wichtigen Komponenten wie CPU, Speicher und VR effektiv ab, deckt über 80 Prozent des gesamten Stromverbrauchs des Systems und senkt die Kühlungskosten um 30 bis 40 Prozent im Vergleich zu herkömmlichen Luftkühlungsmethoden.

Das mit Leckage-Erkennung ausgestattete System schaltet sich zudem automatisch ab und löst Alarm aus, falls ein Leck entdeckt wird. Darüber hinaus können die Server dank Flüssigkeitskühlung bei niedrigeren Temperaturen betrieben werden, was die Lebensdauer temperaturempfindlicher Komponenten verlängert, und die Ausfallrate verringert. Dieser Ansatz senkt die Betriebs- und Wartungskosten und erhöht die Effizienz und Langlebigkeit des Gesamtsystems.

Sicherheitsfeature bietet verschlüsselte Festplatten

Das neue RAMSES-System bietet neben der hochleistungsfähigen Rechenarchitektur auch eine sichere IT-Umgebung für Bereiche wie Biowissenschaften und Medizin. Während etwa die direkte Beobachtung von Phänomenen wie schwarzen Löchern oder Sternexplosionen unmöglich ist, ermöglichen Simulationen auf HPC-Systemen diese Forschungen. Auch die Interpretation genetischer Merkmale ist so rechenintensiv, dass nur HPC-Systeme die Arbeitslast bewältigen können, und das bei gleichzeitiger Datensicherheit. Dieses hochmoderne HPC-System positioniert die Universität zu Köln an der Spitze der weltweiten Forschung und Innovation und bietet einen erheblichen Wettbewerbsvorteil.

Sicherheitsfeatures umfassen die Funktion BIOS/BMC Dual-Core Redundant Design, die Kerndaten des Systems auf Chipebene sichert. Verschlüsselte Festplatten bieten Sicherheit von der untersten Hardware- bis zur höchsten Anwendungsebene. Firmware-Verschlüsselung und digitale Signaturen verhindern das unbefugte Schreiben von unbekannter Firmware. Benutzer haben die Möglichkeit, Festplattendaten sicher zu löschen und dauerhaft zu vernichten, wodurch vollständiger Datenschutz und Vertraulichkeit gewährleistet werden.