Het is mogelijk om een spider geen toegang te verlenen tot een mapje “klanten” of “afbeeldingen”.  Hou er rekening mee dat het een verzoek is, geen garantie. En als je niet wilt dat het bestandje /geheim1960 door iemand gevonden wordt, is het beter dat je het helemaal niet op internet zet. En vooral niet in je robots.txt bestandje. Je kan je informatie dan beter beschermen door voor een beveiliging met een wachtwoord te kiezen zoals via .htaccess of een inlog scriptje.