e5ab06784243ee370cca6ed211ae364c
hvad er crawling?
waimea.dk
2020.29
crawling er i forhold til seo et udtryk der bruges om den proces, hvor søgemaskiner som google indsamler data på nettet. med deres web-crawler software (også kaldet en ”spider”) følger de links fra side til side og downloader tekster, billeder og andre objekter, som herefter kan indekseres.
fb698fa070054ae88041002e8c9e0f57
kan google crawle alle links?
waimea.dk
2020.29
som udgangspunkt skal du kun regne med, at google følger almindelige tekstlinks, image links og image maps. de forsøger også at følge javascript links, men gør det ikke altid.
e7a2dfba879df34a3d24ee542cf14389
hvilken agent crawler google med?
waimea.dk
2020.29
google har siden 2018 været igang med at omlægge deres crawling under navnet “mobile first indexing“. tidligere var googles crawling baseret på en desktop agent – således at de så det som brugere af desktop computere ville se og brugte så det i deres indeksering. nu crawles med en smartphone agent og det er således det indhold mobile brugere får, som bruges til indeksering.
23260109471eb5b4e614fb3037a1d097
hvor vigtigt er crawl-budget?
waimea.dk
2020.29
har dit website er på under 1 million sider, så behøver du slet ikke at bekymre dig om det. og selv hvis det er en smule større vil det meget sjældent give problemer. men er dit website ekstremt stort – med mange millioner sider, så kan der bestemt være grund til at forholde sig til crawl budget udfordringerne.