hvad betyder robots.txt?
robots.txt er en de-facto standard, der bruges til at angive kataloger på din webserver, som du ikke ønsker at bestemte agenter får adgang til – herunder søgemaskinernes robotter.
beskrivelse: robots.txt er en almindelig textfil (f.eks. skrevet i notepad) med navnet robots.txt. for at det virker, skal filen placeres i din webservers rod, således at den kan findes på: www.dit-domain.dk/robots.txt
hvis du vil udelukke alle robotter fra hele dit website skrives det således:
user-agent: *
disallow: /
hvis det kun er katalogerne /privat/ og /admin/ du ikke vil have robotterne ind i, skrives det således:
user-agent: *
disallow: /privat/
disallow: /admin/
du kan finde yderligere dokumentation af standarden her:
www.searchengineworld.com/robots/robots\_tutorial.htm