Intel bietet eigene Hadoop-Distribution an

Mit der „Intel Distribution for Apache Hadoop“ hat Intel eine eigene Hadoop-Distribution vorgestellt. Sie ist insbesondere für die eigenen Prozessoren optimiert und soll „das Beste aus Intel-Hardware und -Software für höhere Leistung und Sicherheit“ bieten. Intel folgt damit EMC, das kurz zuvor mit Pivotal HD gegen den etablierten Hadoop-Distributor Cloudera antrat.

Intel beschreibt seine Distribution als optimiert für die aktuellen Xeon-Chips. Ihre Netzwerk- und IO-Technologien sollen die Analyse großer Datenmengen erheblich beschleunigen. Sie unterstützen das Hadoop Distributed File System und sollen eine sichere Analyse ohne Leistungsverluste erlauben, indem sie eine komplette chipbasierte Verschlüsselung mit Intels AES-NI (AES New Instructions) ermöglichen. Laut Intel verkürzt sich durch diese Kombination von Hard- und Software die Analyse von einem Terabyte Daten, die zuvor über vier Stunden beanspruchte, auf nur noch sieben Minuten.

Seine Verbesserungen will der Chiphersteller der Apache-Community als Open Source zur Verfügung stellen. Sie können daher auch in andere Distributionen Eingang finden. Als Zusatztool verspricht der „Intel Manager for Apache Hadoop“ eine einfachere Bereitstellung, Konfiguration und Überwachung des Clusters. Der „Active Tuner for Hadoop“ soll automatisch die optimale Leistung abrufen.

Wie zuvor EMC nannte auch Intel fast zwei Dutzend Partner, die seine Distribution integrieren und den Einsatz in Public- und Private-Cloud-Umgebungen ermöglichen wollen. Zu ihnen gehören Amazon, Cisco, Cray, Dell, Infosys, Red Hat und SAP. Auf der Ebene der Anwendungslösungen gebe es „andere, die das weit besser können als wir“, erklärte Boyd Davis, Vice President von Intels Architecture Group.

[mit Material von Rachel King, ZDNet.com]