Hortonworks verkürzt Hadoop-Releasezyklus

Hortonworks hat angekündigt, seine Hadoop-Distribution für Unternehmenskunden namens Hortonworks Data Platform (HDP) häufiger zu aktualisieren. Parallel informiert es über eine Partnerschaft mit Hewlett Packard Enterprise (HPE), die zu weiteren Verbesserungen von Apache Spark führen soll.

Kernkomponenten von Apache Hadoop wie das Dateisystem HDFS, der Algorithmus MapReduce, das Cluster-Management-System Yarn sowie das Konfigurationssystem Apache Zookeeper sollen jährlich aktualisiert werden. Auf Hadoop aufsetzende Dienste wie Spark, Hive, HBase oder Ambari will man hingegen zu einer Gruppe zusammenfassen und mehrmals jährlich erneuern.

Die Umsetzung dieser Strategie hat zugleich in Form einer größeren Aktualisierung begonnen. Mit der Ankündigung machte Hortonworks Apache Spark 1.6, Apache Ambari 2.2 und SmartSense 1.2 als Elemente der Hortonworks Data Platform 2.4 verfügbar. Mit Hortonworks DataFlow 1.2 gibt es auch ein Update der Plattform für Echtzeit-Datenstöme und das Internet der Dinge. HDF 1.2 integriert die Streaming-Analytics-Engine Apache Kafka wie auch Apache Storm, das den Daten praktisch nutzbare Erkenntnisse abringen soll. HDF 1.2 wird noch im im ersten Quartal 2016 verfügbar sein.

Whitepaper

Studie zu Filesharing im Unternehmen: Kollaboration im sicheren und skalierbaren Umfeld

Im Rahmen der von techconsult im Auftrag von ownCloud und IBM durchgeführten Studie wurde das Filesharing in deutschen Unternehmen ab 500 Mitarbeitern im Kontext organisatorischer, technischer und sicherheitsrelevanter Aspekte untersucht, um gegenwärtige Zustände, Bedürfnisse und Optimierungspotentiale aufzuzeigen. Jetzt herunterladen!

Die Ankündigung von Hortonworks ist ein weiterer Schritt auf Hadoops Weg zu einem gereiften Unternehmenswerkzeug. Hortonworks, IBM und Pivotal hatten im April 2015 angekündigt, ein standardisiertes Hadoop auszuliefern. Im Zuge der Open Data Platform Initiative verwenden sie einen einheitlichen Kern. Er umfasst Apache Hadoop 2.6 einschließlich der Komponenten HDFS, YARN und Mapreduce sowie die Apache-Software Ambari. Lösungsanbieter benötigen somit nur mehr eine einzelne Zertifikation.

Zusammen mit HPE will Hortonworks nun das Cluster-Computing-Framework Spark voranbringen. Auch hier weist es mit Ankündigung schon erste Erfolge vor, nämlich Verbesserungen der Shuffle-Engine, die schnelleres Sortieren und In-Memory-Computing ermöglichen. Auch die Speichernutzung wurde optimiert. Die beiden Ansätze könnten zu deutlichen Verbesserungen bei Leistung und Skalierbarkeit führen.

Hortonworks mit Sitz in Palo Alto (Kalifornien) wurde im Juni 2011 als unabhängiges Softwareunternehmen von Yahoo ausgegründet. Es liefert nach eigenen Angaben die meisten Code-Beiträge zu Apache Hadoop und ist Veranstalter des Hadoop Summit. Zudem verweist es gern auf seine zu 100 Prozent offene Produktstrategie und seine weitreichende Vernetzung in der Branche. Zu seinen Konkurrenten zählt etwa Hadoop-Distributor Cloudera, das mit Intel kooperiert.

[mit Material von Larry Dignan, ZDNet.com]

Tipp: Wie gut kennen Sie sich mit Open-Source aus? Überprüfen Sie Ihr Wissen – mit 15 Fragen auf silicon.de

Florian Kalenda

Seit dem Palm Vx mit Klapp-Tastatur war Florian mit keinem elektronischen Gerät mehr vollkommen zufrieden. Er nutzt derzeit privat Android, Blackberry, iOS, Ubuntu und Windows 7. Die Themen Internetpolitik und China interessieren ihn besonders.

Recent Posts

Studie: Ein Drittel aller E-Mails an Unternehmen sind unerwünscht

Der Cybersecurity Report von Hornetsecurity stuft 2,3 Prozent der Inhalte gar als bösartig ein. Die…

2 Tagen ago

HubPhish: Phishing-Kampagne zielt auf europäische Unternehmen

Die Hintermänner haben es auf Zugangsdaten zu Microsoft Azure abgesehen. Die Kampagne ist bis mindestens…

3 Tagen ago

1. Januar 2025: Umstieg auf E-Rechnung im B2B-Geschäftsverkehr

Cloud-Plattform für elektronische Beschaffungsprozesse mit automatisierter Abwicklung elektronischer Rechnungen.

3 Tagen ago

Google schließt schwerwiegende Sicherheitslücken in Chrome 131

Mindestens eine Schwachstelle erlaubt eine Remotecodeausführung. Dem Entdecker zahlt Google eine besonders hohe Belohnung von…

3 Tagen ago

Erreichbarkeit im Weihnachtsurlaub weiterhin hoch

Nur rund die Hälfte schaltet während der Feiertage komplett vom Job ab. Die anderen sind…

4 Tagen ago

Hacker missbrauchen Google Calendar zum Angriff auf Postfächer

Security-Experten von Check Point sind einer neuen Angriffsart auf die Spur gekommen, die E-Mail-Schutzmaßnahmen umgehen…

5 Tagen ago