Zoekmachines gebruiken geen mensen meer om webpagina’s te indexeren, maar webcrawlers of spiders. Een spider kan heel simpel zijn; controleer of de huidige pagina veranderd is t.o.v. de pagina die geïndexeerd is. Maar ook tot heel geavanceerd; loop alle pagina’s af en detecteer kringverwijzingen en foute website zoekmachine optimalisatie technieken. Belangrijk is om te weten dat webcrawlers de inhoud van de website doornemen en moeten daar dan ook toegang toe hebben.
Tip 1: Zorg ervoor dat de inhoud van website altijd toegankelijk is en dat het niet afhankelijk is van Flash, Javascript, VBscript, Java, Cookies, Frames of DHTML. Webcrawlers volgen links niet door te moeten klikken op knoppen in bijvoorbeeld een Flash animatie. Pas Flash en de script talen functioneel toe en zorg altijd dat de inhoud van de website bereikbaar blijft. Webcrawlers voeren geen scripts uit en als dat noodzakelijk is om de website te bekijken, dan heeft de website een probleem om goed geindexeerd te worden.
Tip 2 : Controleer altijd de werking van de website door deze in de meest voorkomende webbrowsers te bezoeken. Zet tijdens deze bezoeken ook alle scripttaal ondersteuningen uit. Is de website niet te bezoeken zonder ondersteuning voor de scrip-talen? Dan is de website ook niet doorzoekbaar door webcrawlers. Is de website niet te bekijken door bijvoorbeeld de webbrowser Opera? Dan is de kans groot dat webcrawlers de website ook niet kunnen bekijken. Elke webbrowser identificeert zich aan de webserver en die informatie gebruiken websites om de website er anders uit te laten zien (het meest gunstige geval), als het ware een website tonen die geoptimaliseerd is voor die webbrowser. Meestal kiezen webmaster voor de meer simpelere oplossing door de website voor andere niet ondersteunde webbrowsers te blokken. Webcrawlers identificeren zich op dezelfde manier. Dus als de website alleen toegang geeft aan bijvoorbeeld Browser X, dan wordt de website niet geïndexeerd.
Tip 3: Ga geen foute technieken voor zoekmachines optimalisatie gebruiken. Webcrawlers detecteren dat en de consequentie is dat de website strafpunten krijgt en lager gecategoriseerd wordt als zijnde niet relevant resultaat.
