Apache Spark integriert R und wird von IBM gefördert

Apache Spark ist auf Version 1.4 aktualisiert worden, die erstmals Unterstützung der Statistik-Programmiersprache R mitbringt. Dazu dient die so bezeichnete „SparkR API“. Die quelloffene In-memory-Datenverarbeitungs-Engine erhält parallel zusätzlichen Schwung durch eine Zusage von IBM: In diesem Unternehmen sollen sich künftig 3500 Entwickler mit Projekten befassen, die mit Spark zu tun haben.

Spark 1.4 führt zugleich Unterstützung für Python 3 ein. Und mit einer Dataframe API werden Spark SQL und die DataFrame-Library auch um Fensterfunktionen erweitert, um Statistiken auszuwerten.

SparkR ist ein ursprünglich von der Unversität Berkeley entwickeltes R-Frontend für Spark. Entwickler Patrick Wendell von Databricks erklärt, damit lasse sich Sparks Engine von einer R-Shell aus nutzen. „Weil SparkR die darunter liegende parallele Engine von Spark verwendet, können Operationen mehrere Maschinen oder Kerne nutzen und so auf Größen skalieren, die reine R-Programme nicht erreichen.“

Wendell zufolge ist die Benutzerstelle (API) für Maschinelles Lernen nun zudem stabil und kann in der Produktion eingesetzt werden. Sie war mit Spart 1.2 eingeführt worden. Zudem werden in Spark 1.4 auch Utilities für visuelles Debugging und Monitoring eingeführt, die Entwicklern einen Eindruck vermitteln, wie Spark-Apps ablaufen und wann bestimmte Abschnitte und Aufgaben erledigt sind. Damit lassen sich auch Durchsätze und Latenzen beobachten.

Der Release 1.4 ebenso wie IBMs Ankündigung, in großem Maßstab auf Spark zu setzen, kommen im Zusammenhang mit der Konferenz Spark Summit in San Francisco diese Woche. IBM will Spark in seine Plattformen für Analytics und E-Commerce integrieren, aber auch als gehosteten Clouddienst anbieten. In der Watson Health Cloud soll es künftig ebenfalls eine Rolle spielen.

IBM teilt mit, im Zeitalter mobiler Apps und des Internets der Dinge sehe es zwei herausragende Vorteile von Spark. Zum einen verbessere es die Leistung datenbasierter Anwendungen dramatisch. Zum anderen habe man beobachtet, dass es die Entwicklung aus Daten lernender „intelligenter“ Apps radikal vereinfache.

Spark war 2009 an der Universität Berkeley als Forschungsprojekt gestartet worden, um ein Cluster-Computing-Framework für Arbeitslasten zu schaffen, für die Hadoop schlecht geeignet ist. Es wurde 2010 quelloffen. 2014 trugen mehr als 450 Unterstützer Quelltext bei. Die Erfinder von Spark haben inzwischen das Unternehmen Databricks gegründet, das als Distributor von Spark eine Komplettlösung für Datenwissenschaftler und Entwickler verspricht.

[mit Material von Toby Wolpe, ZDNet.com]

Tipp: Was haben Sie über Datenbanken gespeichert? Überprüfen Sie Ihr Wissen – mit 15 Fragen auf silicon.de.