De robots.txt bestand plaats je in de www directory. Dus www.jedomeinnaam.nl/robots.txt is de plaats waar deze moet komen te staan. Deze file geeft aan hoever de zoekmachines door mogen lopen…
Tag: spider
Spiders
Spiders zijn door de zoekmachines ontwikkelde software programma’s die het web afspeuren naar sites, met als doel deze op te nemen in de database van die zoekmachine. Spiders ‘lezen’ je…
3 Tips voor zoekmachine optimalisatie
Zoekmachines gebruiken geen mensen meer om webpagina’s te indexeren, maar webcrawlers of spiders. Een spider kan heel simpel zijn; controleer of de huidige pagina veranderd is t.o.v. de pagina die…
Wat is een robots.txt en hoe moet je die maken ?
De robots.txt file plaatst u in uw www directory. Dus www.uwdomeinnaam.nl/robots.txt is de plaats waar deze moet komen te staan. Deze file geeft aan hoever de zoekmachines door mogen lopen…