EMC integriert Hadoop in Greenplum-Appliance

Eine Hardware-Appliance kommt im dritten Quartal, die Software-Version schon früher. Grundlage ist eine eigene Distribution. EMC bewirbt sie als zwei- bis fünfmal so schnell wie andere Hadoop-Versionen.

von Florian Kalenda und Jack Clark am 10. Mai 2011 , 15:32 Uhr

EMC hat eine Distribution von Hadoop erstellt und kompatible Hardware im Rahmen der Reihe Greenplum angekündigt. Mit der auf der EMC World in las Vegas gezeigten Hard- und Software sollen Unternehmen die Möglichkeit bekommen, in großem Stil Daten zu durchforsten und zu analysieren.

Hadoop ist ein von der Apache Software Foundation verwaltetes Open-Source-Projekt, das ein Dateisystem und ein hochleistungsfähiges paralleles Datenverarbeitungswerkzeug zu einer Plattform kombiniert, die mit gewaltigen Mengen unstrukturierter Daten zurechtkommt. Zu den bekanntesten Nutzern der Software gehören Adobe, Ebay, Facebook, der Cloud-Hoster Rackspace und Yahoo.

EMC sieht Hadoop als geeignet für Betrugserkennung, Web-Crawling und Verhaltensanalysen an. „Daten sind an sich kein Mittel zu einem Zweck. Man muss sie auf Informationen abklopfen, sie analysieren – und das ist das Spielfeld dieser Ankündigung“, sagte EMC-CEO Joe Tucci bei diesem Anlass.

In der „EMC Greenplum HD Data Computing Appliance“ ist Hadoop mit der Datenbank Greenplum und der bestehenden EMC-Appliance gleichen Namens vereint. EMC spricht von doppelter bis fünfmal so hoher Leistung wie bei Standard-Hadoop-Distributionen.

Teile des kommerziellen Pakets sind nicht quelloffen. Dazu zählen ein vereinfachtes Hadoop Cluster Deployment, automatische Fehlererkennung, einige Datenverwaltungsfeatures und Management mehrerer Sites. Allerdings hat EMC auch eine Community Edition angekündigt, die quelloffen und nur für Greenplum optimiert ist, dieses aber nicht einschließt.

Elemente der Distribution sind Hadoop Distributed File System, MapReduce, ZooKeeper, Hive und HBase. Die Hardware-Appliance soll im dritten Quartal 2011 verfügbar sein, die Softwareversionen schon einige Monate früher. Zu Preisen gibt es noch keine Ansage.

Mit der Ankündigung macht sich EMC zum Wettbewerber seines Kooperationspartners Cloudera, den es bisher für Hadoop-Distribution und -Integration einbezogen hat. Dies bestätigte EMC-CTO Luke Lonergan auch ausdrücklich gegenüber ZDNet. Eine Stellungnahme von Cloudera oder eine offizielle Erklärung, wie es um die Zukunft der Partnerschaft bestellt ist, liegt noch nicht vor.