hvad kan man bruge robots.txt filen til?
du kan bruge robots.txt filen til at opsætte instruktioner til webcrawlere som f.eks. googlebot, i forhold til hvilke sider på dit domæne, du ikke vil have crawles/besøges af webcrawlerne.