Microsoft weitet Unterstützung von Apache Spark aus

Microsoft stellt anlässlich des Spark Summit in San Francisco alte und neue Initiativen rund um das Big-Data-Framework vor, das unter dem Dach der Apache Foundation entwickelt wird. Spark-Support ist demnach für die Microsoft-Produkte HDInsight, Cortana Intelligence Suite, Power BI und Microsoft R Server in Vorbereitung oder abgeschlossen.

Bereits verfügbar kann Microsoft sein Spark for Azure HDInsight melden. Vor einem Jahr war es in eine Public Preview gestartet. HDInsight ist dabei natürlich die Microsoft-Cloud-Version von Hadoop.

R Server for HDinsight soll im Lauf des Sommers folgen. Eine Public Preview liegt auch hiervon vor. Die Spark-Integration ist sowohl für die Cloudvariante wie auch für die Software zur Installation in eigenen Rechenzentren des Kunden vorgesehen. Die für Big-Data-Auswertung, Vorhersagemodelle und Maschinelles Lernen konzipierte Programmiersprache R hatte sich Microsoft im April 2015 mit der Übernahme von Revolution Analytics zu einem nicht genannten Preis ins Haus geholt.

Dass es die kommerzielle Distribution von R in SQL Server 2016 integriert und dies SQL Server R Services nennt, hatte Microsoft schon früher wissen lassen. Seit einer knappen Woche ist SQL Server 2016 samt R Services allgemein verfügbar.

R Server for Hadoop ist eine Software für die Installation im Rechenzentrum, die sowohl Microsoft R als auch native Spark-Frameworks für die Ausführung unterstützen wird. Microsoft will sie noch im laufenden Monat freigeben. In der aktuellen Blog-Ankündigung heißt es: „Die Kombination von R Server mit Spark gibt Nutzern die Flexibilität, R-Funktionen über tausende Spark-Knoten laufen zu lassen, wobei Modelle mit 1000-mal größeren Datensätzen und 100-mal schneller als mit der Open-Source-Version von R trainiert werden können – und auch fast doppelt so schnell wie mit Sparks eigenem MLLib.“

Power BI unterstützt ab sofort Spark Streaming. Neu ist dabei nur die Ausweitung auf Streaming-Szenarien; Power BI war schon länger zu Spark kompatibel.

Anders als manche Spark-Unterstützer positioniert Microsoft das quelloffene Framework nicht als Konkurrenten von Hadoop, sondern in vielen Fällen als Ergänzung. Mit Prajna/OneNet gibt es zudem ein Microsoft-Projekt für eine verteilte Plattform für funktionale Programmierung. Damit lassen sich Clouddienste mit Big-Data-Analysefunktionen erstellen, die in bestimmter Hinsicht den Möglichkeiten von Spark ähnlich sind.

[mit Material von Mary Jo Foley, ZDNet.com]

Tipp: Was wissen sie über Microsoft? Überprüfen Sie Ihr Wissen – mit 15 Fragen auf silicon.de.