hvad er robots.txt?
robots.txt er en fil med instruktioner til diverse webcrawlers, som f.eks. googlebot. det er den første fil, som søgemaskinerne vil forsøge at finde frem til på din hjemmeside, da den kan indeholde vigtige instruktioner som søgemaskinen er interesseret i at følge. indenfor seo er det en vigtig fil at kende til og sørge for er optimeret.