hvad betyder googlebot?
googlebot er det navn som google identificerer sig med når deres robotter (spidere) crawler websites på nettet.
alle legitime browsere og søgemaskine crawlere, der besøger et website efterlader sig en tydelig afsender i form af det der kaldes et “agent-name” – navnet på “agenten”. 
google har forskellige variationer af deres spidere med som en del af navnet benytter de altid “googlebot”. 
et eksempel på et fuldt agent-navn fra google ser således ud: mozilla/5.0 (compatible; googlebot/2.1; +http://www.google.com/bot.html)