Microsoft sortiert 1401 GByte Daten in 60 Sekunden

Microsoft meldet einen neuen Rekord im Benchmarktest MinuteSort, wie The Next Web entdeckt hat. Es gelang einem von Microsoft-Forscher Jeremy Elson angeführten Team, 1401 GByte Rohdaten in nur 60 Sekunden zu sortieren. Das ist etwa dreimal so viel wie beim bis dahin bestehenden Rekord von Yahoo, der aus dem Jahr 2009 datiert.

Einem Blogbeitrag von Douglas Gantenbein zufolge kamen 1033 Laufwerke zum Einsatz, die auf 250 Systeme verteilt waren. Das sei nur ein Sechstel des Aufwands, den Yahoo vor drei Jahren betrieben habe, schreibt der Forscher.

Anders als Yahoo verwendete Microsoft auch nicht das Big-Data-Framework Hadoop und dessen Algorithmus MapReduce, um den Rekord aufzustellen. Stattdessen hat es ein System namens „Flat Datacenter Storage“ (kurz FDS) entwickelt. „Flat“ – auf Deutsch „flach“ – weist hier darauf hin, dass es keine Hierarchien der Daten gibt.

Auch die Rechnersysteme agieren Microsoft zufolge gleichberechtigt, wofür ein Verfahren namens „Full Bisection Bandwidth Networks“ entwickelt wurde: Unterteilt man das Netzwerk in zwei Teile, kann jedes System auf der einen Seite Daten an jedes auf der gegenüberliegenden Seite mit vollem Durchsatz senden. Und dieser Maximaldurchsatz beträgt je 2 GByte/s für Eingabe und Ausgabe. Elson zufolge ist das 20-mal mehr, als heute den meisten Rechenzentren zur Verfügung steht.

Sein Verfahren will Microsoft künftig für die Suchmaschine Bing nutzen. Es deutet aber auch andere kommerzielle Einsatzzwecke an – etwa in der medizinischen Forschung. Das bei Big Data zum De-facto-Standard gereifte Hadoop könnte hier einen neuen Konkurrenten bekommen. Allerdings ist Microsoft auch selbst als Hadoop-Distributor aktiv.

Hinweis: Artikel von ZDNet.de stehen auch in Google Currents zur Verfügung. Jetzt abonnieren.