De robots.txt bestand plaats je in de www directory.

Dus www.jedomeinnaam.nl/robots.txt is de plaats waar deze moet komen te staan. Deze file geeft aan hoever de zoekmachines door mogen lopen binnen een website.

Dit bestand wordt wel eens verward met de metatags robots. Deze 2 horen wel samen gebruikt te worden.

 

Zo wil je bijvoorbeeld een zoekmachines spider liever buiten de deur houden van een map zoals “klanten” en zoals een map “images”. Uiteraard is het een verzoek, geen garantie. En als je wilt dat de map /geheim1960 door niemand gevonden gaat worden moet je deze misschien niet op internet zetten, en al helemaal niet in het robots.txt bestand. Het veilig afschermen van gegevens doe je dan ook met bijvoorbeeld wachtwoordbeveiliging zoals .htaccess of login-script.

Een robots.txt bestand zou er dan dus zo uit kunnen zien:

User-agent: *
Disallow: /setup/
Disallow: /cgi-bin
Disallow: /images/
Disallow: /photos/
Disallow: /dealers/

Wil je helemaal geen zoekmachine spiders op je website, dan gebruik je:

User-agent: *
Disallow: /

Soms verzoeken zoekmachines om in deze file een regel toe te voegen.
Die ziet er dan uit als:

Allow: spider-xyz

Let op dat je robots.txt met een ‘s’ schrijft want daar gaat het nog wel eens mis. Een robot.txt zal niet worden gezien door de zoekmachines. Dat is namelijk de verkeerde schrijfwijze !

Belangrijk is dat iedere regel begint met Disallow: en dat er geen lege regels in het bestand mogen staan.
Let ook op het verschil tussen de  /  aan het einde van een regel.
Disallow: /cgi-bin  geeft aan dat het de hele folder betreft
Disallow: /setup/  geeft aan dat het alleen om de index (index.htm of index.php) gaat in deze map.

Uiteraard kan je de robots.txt voorzien van het juiste pad naar de XML-sitemap. Een robots.txt bestand ziet er dan zo uit:

User-agent: *
Disallow: /setup/
Disallow: /cgi-bin
Disallow: /images/
Disallow: /photos/
Disallow: /dealers/
Sitemap: http://www.testdomein.nl/sitemap.xml

Metatags – Waar te plaatsen ?

Uiteraard mag je de metatags op alle pagina’s plaatsen, dus niet alleen de eerste index. Zorg er wel voor dat iedere pagina zijn eigen relevante tags krijgt, met trefwoorden en begrippen die betrekking hebben op de inhoud van die ene pagina. Het lijkt misschien veel werk om voor iedere pagina aparte metatags te verzinnen maar je zult zien dat het werkt.