Preview von Microsofts Analytics-Dienst Azure Data Lake kommt noch 2015

Der von Microsoft auf der Build 2015 im April angekündigte Dienst Azure Data Lake basiert auf der Technik, die der Konzern intern für Big Data und Analytics unter dem Namen „Cosmos“ nutzt. Das hat er jetzt erstmals bestätigt – und kündigte auch eine öffentliche Preview noch für 2015 an.

Azure Data Lake ist der ersten Ankündigung auf der Build zufolge ein „Hyperscale-Repository für Big-Data-Analyse-Aufgaben in der Cloud“ und kompatibel zu Hortonworks‘ Implementierung des Hadoop Distributed File System (HDFS). Jetzt schreibt Microsoft Data Platform Corporate Vice President T.K. „Ranga“ Rengarajan, Ziel sei es, dass Kunden „maximale Erkenntnisse aus allen Daten von überall aus gewinnen“ könnten.

Von Quellen hatte ZDNet.com im Sommer schon erfahren können, dass eine Analyse-Engine namens „Kona“ im Test war, eine Storage-Engine mit dem Codenamen „Cabo“ und eine SQL-artige Sprache für Abfragen, die intern SQL-IP hieß. Mit der heutigen Ankündigung stehen die offiziellen Namen dieser Bestandteile fest: Sie lauten Azure Data Lake Analytics, Azure Data Lake Store und U-SQL.

Azure Data Lake ist zudem zu HDInsight kompatibel, Microsoft Angebot für Hadoop-on-Azure. Seine Linux-Version (die unter Ubuntu läuft) ist ab sofort allgemein verfügbar. Die Windows-Version existiert seit 2013.

Rengarajan stellt in seinem Blogeintrag auch klar, dass Azure Data Lake nicht einfach nur ein allgemein verfügbares Angebot auf Basis der intern genutzten Cosmos-Infrastruktur (PDF) ist. Er schreibt: „Dies ist ambitionierter als Cosmos. Es ist auch von Apache Spark inspiriert, von Data Warehouses und anderen Ideen. Wir denken seit Jahren über dieses Problem nach.“ Ein großes Wort: Einer kürzlich veröffentlichten Microsoft-Stellenausschreibung zufolge arbeiten 5000 Entwickler an Cosmos, auf das „tausende“ Microsoft-Angestellte zugreifen. Es macht Daten aus Adcenter, Azure, Bing, MSN, Skype und Windows Live verfügbar.

Während Cosmos auf einer Microsoft-Technik für verteilte Berechnungen namens Dryad basiert, ist dies bei Azure Data Lake nicht der Fall. Vielmehr baut der Dienst auf Apache YARN auf und ist wie erwähnt HDFS-kompatibel. U-SQL schließlich ist eine Weiterentwicklung des intern genutzten SCOPE. Microsoft beschreibt U-SQL als „neue Abfragesprache, die die einfache Benutzbarkeit von SQL mit der Ausdrucksstärke von C# kombiniert.“

Auch erläutert Rengarajan, Microsoft habe durch Cosmos viel über Parallel Computing gelernt, doch „Cosmos wurde auf eine andere Art und für ein anderes Zeitalter gebaut.“ Heute wollten Anwender Programme innerhalb weniger Stunden debuggen, die auf tausenden Maschinen liefen, oder über tausende Systeme hinweg Abfragen durchführen, aber dabei solle alles so vertraut wie möglich wirken.

[mit Material von Mary Jo Foley, ZDNet.com]

Tipp: Was wissen sie über Microsoft? Überprüfen Sie Ihr Wissen – mit 15 Fragen auf silicon.de.