Terug naar de eerste pagina van metatags.nl Direct aanmelden bij de zoekmachines
metatags aanmelden zoekmachines

Wat is een robots.txt en hoe moet je die maken ?


De robots.txt file plaatst u in uw www directory.

Dus www.uwdomeinnaam.nl/robots.txt is de plaats waar deze moet komen te staan. Deze file geeft aan hoever de zoekmachines door mogen lopen binnen uw site.

Dit bestand wordt wel eens verward met de metatags robots. Deze 2 horen wel samen gebruikt te worden.

Zo wilt u bijvoorbeeld een zoekmachines spider liever buiten de deur houden van een map zoals "klanten" en zoals een map "images". Uiteraard is het een verzoek, geen garantie. En als u wilt dat de map /geheim1960 door niemand gevonden gaat worden moet u deze misschien niet op internet zetten, en al helemaal niet in uw robots.txt bestand. Het veilig afschermen van gegevens doet u dan ook met bijvoorbeeld wachtwoordbeveiliging zoals .htaccess of login-script.

Een robots.txt bestand zou er dan dus zo uit kunnen zien:

User-agent: *   
Disallow: /setup/  
Disallow: /cgi-bin  
Disallow: /images/  
Disallow: /photos/  
Disallow: /dealers/


Soms verzoeken zoekmachines om in deze file een regel toe te voegen.
Die ziet er dan uit als:

Allow: spider-xyz

Let op dat u robots.txt met een 's' schrijft want daar gaat het nog wel eens mis. Een robot.txt zal niet worden gezien door de zoekmachines. Dat is namelijk de verkeerde schrijfwijze !

Belangrijk is dat iedere regel begint met Disallow: en dat er geen lege regels in het bestand mogen staan.
Let ook op het verschil tussen de  /  aan het einde van een regel.
Disallow: /cgi-bin  geeft aan dat het de hele folder betreft
Disallow: /setup/  geeft aan dat het alleen om de index (index.htm of index.php) gaat in deze map.

Uiteraard kunt u de robots.txt voorzien van het juiste pad naar uw XML-sitemap. Een robots.txt bestand ziet er dan zo uit:

User-agent: *   
Disallow: /setup/  
Disallow: /cgi-bin  
Disallow: /images/  
Disallow: /photos/  
Disallow: /dealers/  
Sitemap: http://www.testdomein.nl/sitemap.xml


U hoeft dus maar 1 regel toe te voegen.

 

Robots.txt - Voorbeeld & Waar te plaatsen ?

 

Download ons voorbeeld txt bestand en zet dit in de root van uw website. Met root bedoelen we de www map ookwel http_docs of public_html geheten.De bedoeling is dus dat het bestand staat op de juiste plek en dat is

www.uwwebsite.nl/robots.txt

Klik hieronder met uw rechtermuisknop om een voorbeeld tekst bestand te downloaden (kies voor opslaan als of voor bewaar als). Pas het bestand zonodig aan en plaats het op uw eigen website.


robots.txt

Robots.txt - de belangrijkste zaken samengevat

       
De robots.txt geeft aan hoever de zoekmachine door mag lopen binnen uw website.
  1. Lees verder waarom metatags belangrijk zijn en wat doen zoekmachines er mee.
  2. Gebruik de metatags generator om juiste metatags te maken.
  3. Laat gratis je website analyseren en lees onze aanbevelingen.
  4. Zorg voor een goede aanmelding bij de zoekmachines en kies 1 van onze pakketten:
       
gratis uitproberen aanmelden zoekmachines NL pakket voor 49 uro aanmelden zoekmachines EU pakket voor 79 euro aanmelden zoekmachines Wereld pakket voor 99,= euro aanmelden zoekmachines
gratis uitproberen NL pakket Europa pakket Wereld Pakket
       
Directe link naar http://www.robotstxt.nl/sitebouw_tips_robotstxt metatags, sitebouw, tips robots, robots.txtTags: robots, robots.txt
© 2014 - Onderdeel van The MetaTags Company BV - Laatste aanpassingen: 23-04-2014