Web crawler, inaczej robot internetowy, to program komputerowy, który przeszukuje Internet w poszukiwaniu informacji. Jego zadaniem jest automatyczne przeglądanie witryn internetowych i zbieranie danych z nich, takich jak linki, tytuły, treści, metadane czy adresy URL. Crawler działa w sposób ciągły i systematyczny, odwiedzając kolejne strony internetowe na podstawie linków, które znajduje na odwiedzanych już stronach. Zebrane informacje są zapisywane w bazie danych i wykorzystywane do różnych celów, takich jak tworzenie indeksów wyszukiwarek internetowych czy analizowanie trendów w zachowaniach użytkowników.