Hortonworks verkürzt Hadoop-Releasezyklus

Hortonworks hat angekündigt, seine Hadoop-Distribution für Unternehmenskunden namens Hortonworks Data Platform (HDP) häufiger zu aktualisieren. Parallel informiert es über eine Partnerschaft mit Hewlett Packard Enterprise (HPE), die zu weiteren Verbesserungen von Apache Spark führen soll.

Kernkomponenten von Apache Hadoop wie das Dateisystem HDFS, der Algorithmus MapReduce, das Cluster-Management-System Yarn sowie das Konfigurationssystem Apache Zookeeper sollen jährlich aktualisiert werden. Auf Hadoop aufsetzende Dienste wie Spark, Hive, HBase oder Ambari will man hingegen zu einer Gruppe zusammenfassen und mehrmals jährlich erneuern.

Die Umsetzung dieser Strategie hat zugleich in Form einer größeren Aktualisierung begonnen. Mit der Ankündigung machte Hortonworks Apache Spark 1.6, Apache Ambari 2.2 und SmartSense 1.2 als Elemente der Hortonworks Data Platform 2.4 verfügbar. Mit Hortonworks DataFlow 1.2 gibt es auch ein Update der Plattform für Echtzeit-Datenstöme und das Internet der Dinge. HDF 1.2 integriert die Streaming-Analytics-Engine Apache Kafka wie auch Apache Storm, das den Daten praktisch nutzbare Erkenntnisse abringen soll. HDF 1.2 wird noch im im ersten Quartal 2016 verfügbar sein.

Whitepaper

Studie zu Filesharing im Unternehmen: Kollaboration im sicheren und skalierbaren Umfeld

Im Rahmen der von techconsult im Auftrag von ownCloud und IBM durchgeführten Studie wurde das Filesharing in deutschen Unternehmen ab 500 Mitarbeitern im Kontext organisatorischer, technischer und sicherheitsrelevanter Aspekte untersucht, um gegenwärtige Zustände, Bedürfnisse und Optimierungspotentiale aufzuzeigen. Jetzt herunterladen!

Die Ankündigung von Hortonworks ist ein weiterer Schritt auf Hadoops Weg zu einem gereiften Unternehmenswerkzeug. Hortonworks, IBM und Pivotal hatten im April 2015 angekündigt, ein standardisiertes Hadoop auszuliefern. Im Zuge der Open Data Platform Initiative verwenden sie einen einheitlichen Kern. Er umfasst Apache Hadoop 2.6 einschließlich der Komponenten HDFS, YARN und Mapreduce sowie die Apache-Software Ambari. Lösungsanbieter benötigen somit nur mehr eine einzelne Zertifikation.

Zusammen mit HPE will Hortonworks nun das Cluster-Computing-Framework Spark voranbringen. Auch hier weist es mit Ankündigung schon erste Erfolge vor, nämlich Verbesserungen der Shuffle-Engine, die schnelleres Sortieren und In-Memory-Computing ermöglichen. Auch die Speichernutzung wurde optimiert. Die beiden Ansätze könnten zu deutlichen Verbesserungen bei Leistung und Skalierbarkeit führen.

Hortonworks mit Sitz in Palo Alto (Kalifornien) wurde im Juni 2011 als unabhängiges Softwareunternehmen von Yahoo ausgegründet. Es liefert nach eigenen Angaben die meisten Code-Beiträge zu Apache Hadoop und ist Veranstalter des Hadoop Summit. Zudem verweist es gern auf seine zu 100 Prozent offene Produktstrategie und seine weitreichende Vernetzung in der Branche. Zu seinen Konkurrenten zählt etwa Hadoop-Distributor Cloudera, das mit Intel kooperiert.

[mit Material von Larry Dignan, ZDNet.com]

Tipp: Wie gut kennen Sie sich mit Open-Source aus? Überprüfen Sie Ihr Wissen – mit 15 Fragen auf silicon.de

Florian Kalenda

Seit dem Palm Vx mit Klapp-Tastatur war Florian mit keinem elektronischen Gerät mehr vollkommen zufrieden. Er nutzt derzeit privat Android, Blackberry, iOS, Ubuntu und Windows 7. Die Themen Internetpolitik und China interessieren ihn besonders.

Recent Posts

Microsoft verschiebt erneut Copilot Recall

Die Entwickler arbeiten noch an weiteren „Verfeinerungen“. Windows Insider erhalten nun wohl eine erste Vorschau…

3 Stunden ago

GenKI im Job: Mitarbeitende schaffen Tatsachen

Laut Bitkom-Umfrage werden in jedem dritten Unternehmen in Deutschland private KI-Zugänge genutzt. Tendenz steigend.

5 Stunden ago

97 Prozent der Großunternehmen melden Cyber-Vorfälle

2023 erlitten neun von zehn Unternehmen in der DACH-Region Umsatzverluste und Kurseinbrüche in Folge von…

6 Stunden ago

„Pacific Rim“-Report: riesiges, gegnerisches Angriffs-Ökosystem

Der Report „Pacific Rim“ von Sophos beschreibt Katz-und-Maus-Spiel aus Angriffs- und Verteidigungsoperationen mit staatlich unterstützten…

9 Stunden ago

DeepL setzt erstmals auf NVIDIA DGX SuperPOD mit DGX GB200-Systemen

NVIDIA DGX SuperPOD soll voraussichtlich Mitte 2025 in Betrieb genommen und für Forschungsberechnungen genutzt werden.

9 Stunden ago

Latrodectus: Gefährlicher Nachfolger von IcedID

Latrodectus, auch bekannt als BlackWidow, ist auch unter dem Namen LUNAR SPIDER bekannt.

10 Stunden ago