 Expliquer ce que fait un robot d'exploration Web
Un robot d'exploration Web, également connu sous le nom d'araignée ou de robot, est un programme qui recherche automatiquement du contenu sur Internet, collecte des données à partir de sites Web et crée un index des données récupérées. Il lit le contenu des pages Web, suit les liens d'une page vers d'autres sites et pages Web et indexe tous les mots trouvés pour une récupération et une analyse ultérieures. Les informations sont ensuite présentées dans une variété de formats de sortie.