Ohne größeres Aufsehen hat Apple in den ersten Maitagen die Existenz eines hauseigenen Webcrawlers bestätigt: Der durch den Applebot gesammelten Informationen stellt Apple (derzeit) nicht über eine klassische Suchseite zur Verfügung, sondern in Produkten wie Siri oder Spotlight.
Der Applebot verwendet Adressen im IP-Block 17.0.0.0, Seitenbetreiber erkennen seinen Besuch auf der Website in den Serverlogs aber auch am Namen des User Agents, wo er sich freimütig als Applebot zu erkennen gibt. Nach Angaben des Apple-Supports folgt der neue Webcrawler den Anweisungen, die Seitenbetreiber in der Datei robots.txt hinterlegt haben. Wird der Applebot in dieser Datei nicht ausdrücklich erwähnt, richtet er sich nach den für den Googlebot hinterlegten Anweisungen. (Quelle: Apple Inc./db)
