De robots.txt file plaatst u in uw www directory.

Dus www.uwdomeinnaam.nl/robots.txt is de plaats waar deze moet komen te staan. Deze file geeft aan hoever de zoekmachines door mogen lopen binnen uw site.

Dit bestand wordt wel eens verward met de metatags robots. Deze 2 horen wel samen gebruikt te worden.

Zo wilt u bijvoorbeeld een zoekmachines spider liever buiten de deur houden van een map zoals “klanten” en zoals een map “images”. Uiteraard is het een verzoek, geen garantie. En als u wilt dat de map /geheim1960 door niemand gevonden gaat worden moet u deze misschien niet op internet zetten, en al helemaal niet in uw robots.txt bestand. Het veilig afschermen van gegevens doet u dan ook met bijvoorbeeld wachtwoordbeveiliging zoals .htaccess of login-script.

Een robots.txt bestand zou er dan dus zo uit kunnen zien:

 

User-agent: *
Disallow: /setup/
Disallow: /cgi-bin
Disallow: /images/
Disallow: /photos/
Disallow: /dealers/

 

Soms verzoeken zoekmachines om in deze file een regel toe te voegen.
Die ziet er dan uit als:

 

Allow: spider-xyz

 

Let op dat u robots.txt met een ‘s’ schrijft want daar gaat het nog wel eens mis. Een robot.txt zal niet worden gezien door de zoekmachines. Dat is namelijk de verkeerde schrijfwijze !

Belangrijk is dat iedere regel begint met Disallow: en dat er geen lege regels in het bestand mogen staan.
Let ook op het verschil tussen de  /  aan het einde van een regel.
Disallow: /cgi-bin  geeft aan dat het de hele folder betreft
Disallow: /setup/  geeft aan dat het alleen om de index (index.htm of index.php) gaat in deze map.

Uiteraard kunt u de robots.txt voorzien van het juiste pad naar uw XML-sitemap. Een robots.txt bestand ziet er dan zo uit:

 

User-agent: *
Disallow: /setup/
Disallow: /cgi-bin
Disallow: /images/
Disallow: /photos/
Disallow: /dealers/
Sitemap: http://www.testdomein.nl/sitemap.xml

 

U hoeft dus maar 1 regel toe te voegen.

 

Robots.txt – Voorbeeld & Waar te plaatsen ?

Download ons voorbeeld txt bestand en zet dit in de root van uw website. Met root bedoelen we de www map ookwel http_docs of public_html geheten.De bedoeling is dus dat het bestand staat op de juiste plek en dat iswww.uwwebsite.nl/robots.txt

 

Klik hieronder met uw rechtermuisknop om een voorbeeld tekst bestand te downloaden (kies voor opslaan als of voor bewaar als). Pas het bestand zonodig aan en plaats het op uw eigen website.
robots.txt