Bei Facebook fallen täglich 500 Terabyte Daten an

Facebook hat Zahlen zu den täglich gespeicherten und verarbeiteten Daten genannt. In der Firmenzentrale erklärte Jay Parikh, als Vice President für die Infrastruktur verantwortlich, den Datenfluss und Facebooks Umgang mit Big Data.

Zu verarbeiten sind täglich 2,7 Milliarden Likes, die bei Facebook sowie anderen Sites anfallen. Die Nutzer des Sozialen Netzes teilen 2,5 Milliarden Inhalte und laden 300 Millionen Fotos hoch. 70.000 Anfragen sind zu bearbeiten, die von Nutzern kommen oder automatisch generiert werden. Alles zusammen bedeutet, dass mehr als 500 TByte an Daten zu „verdauen“ sind.

Für die meisten Funktionen muss die Verarbeitung fast in Echtzeit erfolgen, erklärte Parikh, um eine gute, schnelle und personalisierte Nutzererfahrung zu sichern. „Wir können es uns nicht leisten, dass Ihr Foto erst in der nächsten Woche hochgeladen und gespeichert wird“, sagte er. Ständige Daten-Updates erfordere beispielsweise auch eine Funktion wie „Empfohlene Freunde“ – wenn ein Freund neu hinzugefügt werde, müssten alle Verknüpfungen sofort sichtbar sein.

Die Verarbeitung der Daten innerhalb von Minuten habe für Facebook außerdem den Vorteil, Nutzerreaktionen besser verstehen und neue Produkte in kürzester Zeit einführen zu können. Bei Big Data gehe es darum, Einsichten zu gewinnen und für die geschäftliche Entwicklung zu nutzen. Ein System namens Gatekeeper erlaubt es, verschiedene mögliche Veränderungen bei einem kleinen Prozentsatz der Nutzerbasis gleichzeitig zu testen. Möglich sind auch Simulationen mit historischen Daten, bevor Veränderungen umgesetzt werden.

Der Manager enthüllte weiterhin, dass Facebook über 100 Petabyte Daten in einem einzigen Hadoop-Disk-Cluster speichert. „Wir glauben, dass wir das größte Hadoop-System der Welt betreiben“, sagte er. Diese Big-Data-Lösung erlaubt die Verarbeitung und Analyse großer Datenmengen auf Computerclustern. Es ist ein Open-Source-Projekt der Apache Software Foundation, das insbesondere von Yahoo und Google gefördert wurde.

Das Soziale Netz teilt die Datenmengen nicht auf und errichtet auch keine Barrieren zwischen verschiedenen Geschäftsbereichen wie Werbung und Kundensupport. Laut Parikh sollen Produktentwickler eine Sicht auf Daten über die Abteilungen hinweg bekommen, um beispielsweise erfassen zu können, ob eine kleine Änderung zu längerer Verweildauer auf der Site, zu Beschwerden oder mehr Werbeklicks führt.

Auf Nachfragen anwesender Journalisten versicherte er, Facebook treffe zahlreiche Vorkehrungen, um den Missbrauch dieser breiten Zugangsmöglichkeiten zu verhindern, der ausschließlich Produktentwicklern zustehe. Wer diese Grenzen überschreite, werde gefeuert. „Wir haben eine Null-Toleranz-Politik“, sagte er.

Big Data bei Facebook

[mit Material von Donna Tam, News.com]