Yahoo aktualisiert seinen Webcrawler Slurp

Yahoo hat am Montag Version 3.0 seines Webcrawlers Slurp eingeführt. Details zu Neuerungen oder technischen Änderungen nannte das Unternehmen nicht.

„In den letzten Wochen haben wir mit einigen Updates für die Infrastruktur die finale Version vorbereitet“, erklären Sharad Verma und Yoram Arnon von Yahoo Search in einem Blogeintrag. „Jetzt ist alles fertig, und wir haben mit der Einführung begonnen.“

Laut Yahoo erstellt Slurp 3.0 seit Montag neue Indizes des World Wide Web, die als Basis für die Suchergebnisse von Yahoo dienen. Das Unternehmen empfiehlt Website-Betreibern, mögliche Regeln für die Indizierung ihrer Seiten zu überprüfen.

Der überarbeitete Crawler reagiert Yahoo zufolge nicht auf Einträge in einer Robots.txt-Datei, die speziell an Slurp 2.0 angepasst sind. Daher raten die Entwickler zu allgemeinen Einträgen ohne Versionsnummer.