Open-Source-Software „R“ bekommt Hadoop-Integration

Mit dem Add-on-Package RevoScaleR macht Revolution Analytics seine Statistik-Software für Datenmengen in Terabyte-Größe nutzbar. Sie sollen innerhalb von Sekunden verarbeitet werden. Auch diverse NoSQL-Datenbanken sowie ein Set gängiger Statistik-Algorithmen sind in dem Paket enthalten.

von Anita Klingler und Dave Rosenberg am 3. August 2010 , 12:34 Uhr

Revolution Analytics‘ Statistik-Software Revolution R Enterprise verfügt ab sofort über ein Add-on-Package zur Analyse sehr großer Datenmengen. Mit Hilfe von RevoScale R auf Basis der Statistik-Sprache „R“ ist das Programm nun erstmals in der Lage, Datensätze in Terabyte-Größe zu verarbeiten, zu visualisieren und zu modifizieren, teilte das Unternehmen mit.

Herzstück der „Big-Data“-Architektur ist die Integration von Apaches Hadoop-Framework für skalierbares Distributed Computing. Zudem arbeitet Revolution R Enterprises mit diversen NoSQL-Datenbanken.

Das RevoScaleR-Paket enthält unter anderem das XDF-Datenformat, ein binäres „Big-Data“-Format mit einem R-Interface, das einen sekundenschnellen Zugriff auf frei wählbare Datenreihen und -blöcke ermöglichen soll. Ein Set von Statistik-Algorithmen aus der Deskriptiven Statistik sowie Algorithmen zur Linearen Regressionsanalyse, der Binomialen Logistischen Regression und Kreuztabellen stehen ebenfalls zur Verfügung.

Revolution Analytics möchte mit dem Add-on-Package die Anwendung seiner Statistik-Software vom akademischen Bereich auf den Business-Bereich ausweiten. In der Vergangenheit habe die Verarbeitung von 13 GByte Daten bis zu 12 Stunden gedauert; mit RevoScaleR werde dieselbe Datenmenge innerhalb einer Sekunde verarbeitet, sagte ein Sprecher von Revolution Analytics.

R steht unter der GNU-Lizenz und ist eine freie Implementierung der Programmiersprache „S“. Die Mehrzahl der für S geschriebenen Programme ist auch unter R lauffähig.