Google macht Big-Data-Service Cloud Dataproc allgemein verfügbar

Googles Dienst Cloud Dataproc hat das Betastadium verlassen. Er basiert auf den quelloffenen Big-Data-Lösungen Hadoop und Spark, wobei die Engine MapReduce, die Programmierplattform Pig und die Data-Warehousing-Lösung Hive unterstützt werden.

Den Betatest hatte Google im September 2015 begonnen. „Während der Betaphase wurde Cloud Dataproc um mehrere wichtige Funktionen erweitert, darunter Property Tuning, VM-Metadaten und Tagging sowie die Versionierung von Clustern„, schreibt Produktmanager James Malone in einem Blogbeitrag.

Der Preis für die Nutzung beträgt einen US-Cent je Stunde und pro vCPU. Ergänzend hat Google einen Dienst namens Cloud Dataflow im Angebot, der für Batch- und Streamverarbeitung geeignet ist. Google bezeichnete ihn zur Einführung als eine „Plattform zur Demokratisierung der Datenverarbeitung im großen Maßstab, indem Datenforscher, Datenanalysten und datenzentrierte Entwickler einfacheren und besser skalierbaren Zugang zu Informationen erhalten.“

Die zugrunde liegende Technik wurde inzwischen in ein Inkubationsprojekt der Apache-Stiftung überführt, das Apache Beam heißt. Auch andere Google-Dienste wie Cloud Storage, Cloud Bigtable und BigQuery lassen sich mit dem neuen Angebot verbinden.

Vorteile von Cloud Dataproc (Diagramm: Google)Sowohl Marktführer Amazon Web Services als auch IBMs Public Cloud und Microsoft Azure bieten bereits Big-Data-Services an. Zudem kann man Hadoop-basierte Clouddienste bei Start-ups wie Aleron, Altiscale, CenturyLink, Quobole Data Service, Rackspace und Mirantis buchen. Google nennt als Vorteile seines eigenen Angebots den niedrigen Preis, die hohe Geschwindigkeit und die Möglichkeit, andere Cloud-Platform-Dienste damit zu koppeln. Auch brauche man weder einen Administrator noch eine spezielle Verwaltungssoftware, sondern könne einfach die Cloud Platform Console, das Cloud SDK oder die Cloud Dataproc REST API nutzen.

Für Neulinge stellt Google einen Schritt-für-Schritt-Leitfaden bereit. Sein Dokumentationsangebot umfasst auch zwei Beispielprogramme und drei Tutorien, darunter eines für Monte-Carlo-Simulationen, wie sie inzwischen auch im Finanzsektor populär sind.

Tipp: Wie gut kennen Sie Google? Testen Sie Ihr Wissen – mit dem Quiz auf silicon.de.