Hoe vertel je de spider van een zoekmachine dat je wilt dat hij alleen de eerste pagina, of de hele website indexeert? Dat doe je met de zogenaamde ROBOTS metatag.
De robots metatag is iets anders dan de robots.txt Deze moeten wel samen gebruikt worden. Beide worden namelijk ook gebruikt door onder andere Google en Yahoo.
Staat deze metatag verkeerd dan bestaat de kans dat je een zoekmachine spider helemaal buitensluit met alle gevolgen van dien. Je website is dan onvindbaar.
<meta name="robots" content="selectie">
Voorbeeld metatag robots
Als je wilt dat de spider van de zoekmachine je hele website doorloopt (metatags indexing) zet dan bijvoorbeeld de volgende metatag in de broncode van je website:
<meta name="robots" content="index, follow">
In het onderstaande voorbeeld kijkt de spider niet alleen naar de eerste pagina maar ook naar de achterliggende pagina’s van de website:
<meta name="robots" content="all">
ook geschreven als: ( ” /> xml of “> html )
<meta name="robots" content="INDEX, FOLLOW" />
<META NAME="ROBOTS" CONTENT="INDEX, FOLLOW">
<meta name="robots" CONTENT="index, follow" />
Door te wisselen van meta tag index naar meta tag noindex en van meta tag follow naar meta tag nofollow kunt je het gedrag van een spider proberen te beïnvloeden.
- meta tag index = deze pagina indexeren
- meta tag noindex = deze pagina niet indexeren
- meta tag follow = de links die op deze pagina staan volgen
- meta tag nofollow = de links die op deze pagina staan niet volgen.
We zullen het aan de hand van een aantal voorbeelden duidelijk maken. Wil je dat de zoekmachine WEL de pagina indexeert maar NIET de links verder volgt, gebruik dan de volgende metatag:
<meta name="robots" content="index, nofollow">
- De spider bekijkt deze pagina niet, maar verder wel je website:
<meta name="robots" content="noindex, follow">
Zoekmachines blokkeren via de metatag robots noindex nofollow
- De spider bekijkt deze pagina niet en ook de rest van de site niet (meta name robots content nofollow). LET OP: dit is geen garantie dat je site niet zal worden opgenomen. Staat een pagina met informatie op het internet dat kun je er van uitgaan dat het een keer via een zoekmachine vindbaar zal worden. Mag informatie nooit gevonden worden, zet het dan niet online!
<meta name="robots" content="noindex, nofollow" />
<meta name="robots" content="none" />
Deze metatag wordt ook geschreven zonder de / aan het einde:
<meta name="robots" content="index, nofollow">
<meta name="robots" content="noindex, follow">
<meta name="robots" content="noindex, nofollow">
En ook tref je gebruik van hoofd- en kleine letters door elkaar aan:
<META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW">
<META NAME="ROBOTS" CONTENT="INDEX, NOFOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
- De spider mag wel de tekst op een pagina maar niet de plaatjes indexeren:
<meta name="robots" content="noimageindex">
- De spider mag de tekst, de plaatjes maar niet het pad naar de plaatjes indexeren
<meta name="robots" content="noimageclick">
Google & meta tag noindex (robots metatag)
Als je er zeker van wilt zijn dat de inhoud van een pagina niet aan de index van Google wordt toegevoegd, zelfs wanneer andere pagina’s ernaar verwijzen, gebruik je de metatag ‘noindex’. Zolang Googlebot de pagina ophaalt, zal de ‘noindex’-metatag worden herkend en wordt voorkomen dat de pagina wordt weergegeven in de webindex. Deze methode is handig als je geen toegang hebt tot de hoofdmap van je server, omdat je de toegang tot de site per pagina kunt beheren.
Om alle robots te verhinderen een pagina van je site te indexeren, moet je de volgende metatag in het <head>-gedeelte van de pagina plaatsen:
<meta name="robots" content="noindex">
Om andere robots dan Google-robots toe te staan de pagina op uw site te indexeren:
<meta name="googlebot" content="noindex">
Wanneer Google een noindex-metatag op een pagina aantreft, wordt de pagina niet in de zoekresultaten weergegeven, ook al verwijzen andere pagina’s ernaar. Andere zoekmachines interpreteren deze instructie mogelijk anders. Als gevolg hiervan wordt een verwijzing naar de pagina mogelijk nog steeds weergegeven in de zoekresultaten van deze zoekmachines.
Omdat de spider van Google de pagina moet crawlen om de noindex-tag te kunnen ontdekken, bestaat een kleine kans dat Googlebot de noindex-metatag niet waarneemt en respecteert. Als de pagina nog steeds in de zoekresultaten wordt weergegeven, komt dit waarschijnlijk doordat Google de pagina niet heeft gecrawld sinds je de tag had toegevoegd. (Als je het robots.txt-bestand gebruikt om de pagina te blokkeren, kan Google de tag overigens ook niet waarnemen).
Als de inhoud zich momenteel in de index van Google bevindt, zal Google deze verwijderen wanneer de site de eerstvolgende keer wordt gecrawld. Als je de inhoud sneller wilt laten verwijderen, lees dan de informatie over het verwijderen van URL’s bij Google.
Robots Metatag – Waar plaats ik die ?
Uiteraard moet je de metatags op alle pagina’s plaatsen, dus niet alleen op de eerste index pagina. Zorg er wel voor dat iedere pagina zijn eigen relevante meta keyword tags krijgt, met trefwoorden (door komma en spatie scheiden) die betrekking hebben op de inhoud. Het lijkt misschien veel werk om voor iedere pagina een aparte trefwoorden te verzinnen maar je zult zien dat het werkt.
Of gebruik de Metatags Generator om juiste metatags te maken.
<meta name=”robots” – samengevat
De robots meta tag vertelt de spider van een zoekmachine hoever deze de website mag doorlopen.
- Lees verder waarom metatags belangrijk zijn en wat doen zoekmachines er mee.
- Gebruik de metatags generator om juiste metatags te maken.
- Laat gratis je website analyseren en lees onze aanbevelingen.
[…] Robots tag […]
[…] Robots tag […]
[…] Robots tag […]
[…] Robots tag […]