O arquivo robots.txt de seu site atua fundamentalmente como um porteiro que determina quais rastreadores e robôs da web e mecanismos de pesquisa podem acessar seu site e quais não podem. Aqueles que recebem permissão podem visualizar sua página e indexar seu site. Os que não recebem permissão não podem visualizar ou indexar seções específicas do site, dependendo de suas especificações.
Os anúncios do Google AdSense são exibidos através do uso de um rastreador da web do Google AdSense. O rastreador verifica o conteúdo de sua página e determina quais anúncios serão exibidos, de acordo com palavras-chave específicas. Se o Rastreador do Google AdSense for bloqueado pelo arquivo robots.txt, teremos dificuldades para exibir anúncios relevantes em seu site. Consequentemente, os usuários poderão ver menos anúncios relevantes, o que poderá levar a uma CTR (taxa de cliques) mais baixa.