SOPA-Proteste: Google bremste seinen Webcrawler

Google hat im Kontext der gestrigen Proteste gegen den Stop Online Piracy Act (SOPA) seinen Webcrawler gebremst und Webmastern Tipps gegeben, um zu verhindern, dass der Web-Index nach dem Aktionstag voller geschwärzter Seiten ist. Die Maßnahmen kündigte Pierre Far über Google+ an.

Als wichtigsten Tipp gab Far, den HTTP-Statuscode 503 zu verwenden. Dies steht für „Service Unavailable“ und bedeutet unter gewöhnlichen Umständen, dass eine Website aktuell mit Anfragen überlastet ist. Parallel ist es möglich, einen Termin für die nächste Anfrage anzugeben. Ein Googlebot oder ein anderer Suchmaschinen-Agent würde also vorläufig abgewiesen und hätte bei korrekt gesetztem Status die geschwärzte Protestseite nicht in den Index aufgenommen.

Anders sieht es bei Sites aus, die nur einen Teil ihrer Inhalte geschwärzt haben. Ihnen riet Google davon ab, den Statuscode in robots.txt auf 503 zu setzen. Auf keinen Fall sollten Websitebetreiber außerdem mit „Disallow: /“ Suchmaschinenagenten komplett von ihrer Site aussperren, da dies Konsequenzen für die Positionierung auf Ergebnisseiten und den Google-Rank haben könnte, die weit über den SOPA-Protest hinausgingen.

Insgesamt hielt es Google für empfehlenswert, alle Änderungen simpel zu halten und beispielsweise nichts an den DNS-Einstellungen zu ändern. Auch die Inhalte der robots.txt, die direkte Anweisungen an Crawler enthält, sollten sonst unverändert bleiben.

Googles SEO-Experte Matt Cutts nannte parallel in einem Blogeintrag zu SOPA eine interessante Zahl. Ihm zufolge geben die hinter SOPA stehenden Gruppen neunmal mehr Geld für Lobbyarbeit in Washington DC aus als die Gegner. Er beruft sich dabei auf Zahlen von Maplight.

Mit Google, Wikipedia und Craigslist haben gestern drei der größten Websites in den USA – und zahlreiche kleinere – ihre Nutzer zu Protesten aufgerufen. Sie sollen sich bei ihren Abgeordneten über zwei unter anderem von Rechteverwaltern vorangetriebene Gesetzentwürfe beschweren. Während die Online-Enzyklopädie bis auf Informationsseiten zu den umstrittenen Gesetzen SOPA und PIPA für 24 Stunden den Zugriff auf alle ihre Inhalte in den USA blockierte, deckte Google sein Logo für US-Nutzer mit einem massiven schwarzen Zensurbalken ab und verlinkte darunter auf eine Online-Petition an den US-Kongress: „Sagen Sie dem Kongress, dass er nicht das Web zensieren und unsere innovative Wirtschaft lähmen soll.“