Microsoft baut Supercomputer für OpenAI

Microsoft hat auf der Build 2020 weitere Details zur Zusammenarbeit mit der Forschungseinrichtung OpenAI bekannt gegeben. Der Softwarekonzern entwickelt zusammen mit OpenAI einen Supercomputer, um große verteilte AI-Modelle anzulernen. Ziel ist es unter anderem, die Artificial-Intelligence-Fähigkeiten der eigenen Software und Dienste zu verbessern.

Nach Angaben des Unternehmens soll so der fünftschnellste Supercomputer weltweit entstehen, gemäß dem TOP500-Ranking. Die beiden Partner richten das System auf Massive Distributed AI Models aus, da Forscher davon ausgehen, dass sie eine bessere Leistung bieten als die früher gebräuchlichen kleinen und separaten AI-Modelle.

Microsoft verfügt bereits über eigene große AI-Modelle, Microsoft Turing genannt. Sie werden vor allem benutzt, um das Verstehen natürlicher Sprache in Bing, Office und Dynamics zu verbessern. Das Turing Model für natürliche Sprache wird als das größte öffentlich verfügbar AI-Sprach-Modell weltweit angesehen.

Zudem kündigte Redmond an, das Turing-Modell unter eine Open-Source-Lizenz zu stellen. Gleiches gilt für die Rezepte, um Turing per Azure Machine Learning zu trainieren. Darüber hinaus soll die ONNX Runtime, eine Open-Source-Bibliothek für die Übertragbarkeit von AI-Modellen, Support für verteilte Trainings erhalten.

Konzipiert wird der OpenAI-Supercomputer als einzelnes System mit 285.000 CPU-Kernen, 10.000 GPUs und einer Netzwerkanbindung von 400 GBit/s für jeden GPU-Server. Gehostet wird der Supercomputer in Azure mit einem Zugang zu Azure Services.

Turing ist Teil einer breiteren Initiative von Microsoft namens AI at Scale. Sie soll es ermöglichen, riesige neurale Netzwerke einmal auf einer hochleistungsfähigen Infrastruktur zu trainieren, um dann dasselbe Modell in vielen anderen Szenarien wiederzuverwenden. Das soll helfen, die künstliche Intelligenz in verschiedenen Produkten zu verbessern. So hat Microsoft ein Modell zum Sprachverständnis trainiert, das als Turing NLR bezeichnet wird. Angepasst wird das Modell auch für Bing, Word, SharePoint und Outlook verwendet.

Kunden von Microsoft werden keinen direkten Zugriff auf den OpenAI-Supercomputer haben. Sie können jedoch die aktualisierte Azure-Compute-Infrastruktur einsetzen. Dessen DeepSeed-Software, die auch als Open Source vorliegt, kann große Modelle trainieren. Die ONNX Runtime soll laut Microsoft zudem das Einrichten von Modellen beschleunigen. Allerdings bietet Microsoft auch die Möglichkeit, auf Microsofts Turing-Modell zuzugreifen, statt eigene Modelle anzulernen.