Apple bestätigt Existenz von Webcrawler „Applebot“

Apple hat in Form einer Informationsseite erstmals bestätigt, dass es einen eigenen Webcrawler namens Applebot einsetzt. Apple Insider ist darauf aufmerksam geworden. Demnach nutzt das Unternehmen die Ergebnisse für seinen Sprachassistenten Siri und Vorschläge des Suchprogramms Spotlight.

Der Seite zufolge verwendet der Bot eine IP-Adresse im Block 17.0.0.0, also zwischen dieser Adresse und 17.255.255.255. Diesen IPv4-Adressblock nutzt ohnehin ausschließlich Apple, sodass die Angabe nicht weiter verwundert. Er respektiere sowohl robots.txt-Anweisungen als auch Metatags für Robots, heißt es weiter – alles andere wäre allerdings ein Skandal.

Macht eine Website keine speziellen Angaben für Applebot, folgt er den Anweisungen für Googlebot, also für den Crawler des Konkurrenten Google. Entwicklern, die weitere Fragen zum Bot haben, nennt Apple eine Kontakt-E-Mail-Adresse.

Wie lange der Bot bereits aktiv ist, erwähnt Apple nicht. Apple Insider berichtet über eine erste Sichtung in Log-Statistiken im November 2014. Bisher war davon ausgegangen worden, dass Yahoo und Spotlight ihre Suchergebnisse von Google oder Bing beziehen.

Ein Webcrawler durchforstet das Web nach Daten, die anschließend ein Suchalgorithmus auswerten kann, um möglichst genaue Treffer zu liefern. Wie offenbar Apple entwickelt auch Yahoo neuerdings wieder eigene Suchtechniken. Eine Modifikation des Such-Abkommens mit Microsoft räumt ihm die Möglichkeit ein, sie in der Praxis zu erproben. Nicht namentlich genannte Ex-Manager des Unternehmens halten dies laut Business Insider allerdings für eine ganz schlechte Idee, die Yahoo bis zu 500 Millionen Dollar im Jahr kosten könne.

[mit Material von Charlie Osborne, ZDNet.com]

Tipp: Wie gut kennen Sie Apple? Überprüfen Sie Ihr Wissen – mit 15 Fragen auf silicon.de.