hvad er crawling?
crawling er når en søgemaskine, sender en søgerobot, f.eks. googlebot, ind på en given side for at læse sidens indhold. det er altså søgemaskinernes læsning af en side på din hjemmeside.

dermed ikke at forveksle det med indeksering, som er når søgemaskinerne har crawlet en side og herefter indekserer den og dermed viser den i søgeresultaterne.