Spiders zijn door de zoekmachines ontwikkelde software programma’s die het web afspeuren naar sites, met als doel deze op te nemen in de database van die zoekmachine. Spiders ‘lezen’ je metatags en zien ook hoever zij jouw site mogen doorzoeken. (index-follow tag)

Spiders van de zoekmachines die je kunt verwachten in de log-file staan hieronder. Let op: niet alle spiders laten een spoor achter. Dit is ook afhankelijk van het type statistieken-software die je gebruikt en van bijvoorbeeld de robots file.