Googles Technologien: Von Zauberei kaum zu unterscheiden

Für Google sprechen zwei entscheidende Faktoren: Erstens verläuft die ganze Thematik laut Hölzle absolut parallel. Das bedeutet, dass man mit einer Verdoppelung der eingesetzten Hardware die Performance verdoppeln kann (oder die Kapazität, wenn man so will – wichtig ist hier nur, dass es keine abnehmenden Skalenerträge wie bei weniger parallel strukturierten Problemstellungen gibt).

Der zweite Faktor zu Gunsten von Google sind die fallenden Hardwarepreise. Verdoppelt sich die Indexgröße, bedeutet die absolut parallele Natur dieser Thematik, dass Google die Anzahl der Rechner verdoppeln und die gleiche Antwortzeit erhalten könnte, um so linear mit dem Datenverkehr zu wachsen. „In Wirklichkeit würden wir (von einem geschäftlichen Standpunkt aus betrachtet) gern nicht ganz linear mitwachsen, um die Kosten niedrig zu halten“, sagte Hölzle. „Doch glücklicherweise wird Hardware immer preiswerter.“

Während also das Web jedes Jahr größer wird und zur Indexierung, Suche und Ausgabe von Webseiten immer mehr Hardware benötigt wird, wird diese immer preiswerter, so dass sich das Ganze „mehr oder weniger ausgleicht“, um es in Hölzles Worten auszudrücken.

Mit den wachsenden Proportionen des Betriebs ergeben sich bestimmte Probleme, die bei kleineren Systemen kein Thema wären. So verwendet Google zum Beispiel nur IDE-Laufwerke als Speichermedien. Diese sind schnell und preiswert, aber nicht besonders zuverlässig. Aus diesem Grund hat Google ein Dateisystem namens Google File System beziehungsweise GFS entwickelt, das davon ausgeht, dass ein einzelnes Speichergerät jederzeit wegen eines Absturzes, eines Plattenverlusts oder einfach, weil jemand auf ein Kabel getreten ist, ausfallen kann.

In den einzelnen PCs gibt es keine Platten-Arrays, stattdessen speichert Google jedes einzelne Datenbit dreifach: auf drei Rechnern, die auf verschiedenen Racks sitzen, die wiederum an unterschiedliche Daten-Switches angeschlossen sind. So wird sichergestellt, dass es zwischen dem Benutzer und den Daten keinen Single Point of Failure gibt. „Wir setzen diese Struktur für mehrere Hundert Terabyte von Daten ein“, sagte Hölzle.

Dennoch darf man nicht erwarten, GFS bald auf einem gewöhnlichen Desktop zu finden – es ist kein Allzweckdateiensystem. Beispielsweise ist ein GFS-Block 64 MB groß, verglichen mit den üblicheren 2 KB in einem Desktop-Dateisystem. Hölzle sagte, dass Google über 30 GFS-gestützte Cluster besitze, von denen manche bis zu 2000 Rechner mit Petabytes an Speicherkapazität umfassten. Diese großen Cluster können kontinuierlich Lese- und Schreibgeschwindigkeiten von 2 Gbit/s bereitstellen – eine Meisterleistung, die dadurch ermöglicht wird, dass jeder PC 2 Mbit/s schaffen kann.

Einmal, so Hölzle, „trennte jemand ein 80-Rechner-Rack von einem GFS-Cluster. Die Rechnerleistung wurde langsamer, als das System sich zu replizieren begann und wir verloren ein wenig Bandbreite, aber trotzdem funktionierte es weiter. Das ist ungeheuer wichtig, wenn man 2000 Rechner in einem Cluster hat.“ Wenn man 2000 Maschinen betreibt, kann man pro Tag mit zwei Ausfällen rechnen.