text: Axtarış botları ziyarət edilən sistemlərdə resursları istehlak edir və tez-tez saytları xəbərsiz ziyarət edirlər. Böyük səhifə kolleksiyasına rast gəldikdə planlama, yüklənmə və "nəzakət" problemləri gündəmə gəlir. Bunu axtarış botuna bildirmək üçün indekslənmək istəməyən ictimai saytlar üçün mexanizmlər mövcuddur. Məsələn, robots.txt faylı botlardan veb-saytın yalnız müxtəlif hissələrini indeksləşdirməyi və ya ümumiyyətlə indeksləşdirməməyi tələb edə bilər.