Applebot: Apples Such-Roboter durchkämmen das Netz für Siri

In einer Support-Notiz mit der Überschrift „About Applebot“ kündigt Cupertino am Mittwoch den bevorstehenden Einsatz hauseigener Webcrawler an. Die sogenannten Applebots sollen das Internet zukünftig autonom nach relevanten Links durchforsten und sich langfristig um Material für die Suchergebnisse von Siri und der Spotlight-Suche kümmern.

Apples Such-Roboter – die Wikipedia beschreibt die sogenannten „Spider“ als Computerprogramme, die das World Wide Web automatisch durchsuchen und gefundene Webseiten analysieren – werden die robots.txt auf angesteuerten Webservern respektieren und lassen sich von Webmastern mit eigenen Regeln in ihrer Bewegungsfreiheit einschränken.

Um das Durchsuchen persönlich administrierter Webseite zu unterbinden, muss der „Applebot“ namentlich angesprochen werden. Sind keine spezifischen Regeln verfügbar orientieren sich Apples Such-Roboter an den für Google vorbereiteten Regeln.

Applebot is the web crawler for Apple, used by products including Siri and Spotlight Suggestions. It respects customary robots.txt rules and robots meta tags. It originates in the 17.0.0.0 net block.