De eerste keer dat een zoekmachine spider of bot langskomt om je site te indexeren zal er begonnen worden het het downloaden en ontleden van het robots.txt bestand.

• ze analyseren de regels die in het bestand zijn gedefinieerd om te zien welke URL’s ze mogen downloaden
• als de robots.txt het toestaat downloaden ze de root van de website, die ziet er zo uit: https://www.voorbeeld.nl
• ze analyseren de inhoud van de pagina en halen er voornamelijk de lijst met interne links  uit
  
• al deze interne links worden op hun beurt gedownload (tenminste als de regels van het robots.txt bestand dit niet verbieden), en hun interne links worden eruit gehaald
  
• het proces van downloaden en analyseren van links gaat door totdat er geen andere nieuwe links meer zijn om eruit te halen

Opmerking: als een specifieke URL niet toegankelijk is vanuit de root of onderdeel uitmaakt van andere links, kan een robot deze niet op magische wijze vinden. Het is de reden waarom XML sitemaps oorspronkelijk zijn ontstaan: zodat de webmaster van een website robots de URL’s kan geven die ze niet alleen konden vinden.