Web crawler (inaczej zwany robotem internetowym) to program komputerowy, który automatycznie przeszukuje strony internetowe w celu pozyskania informacji na temat ich zawartości. Crawler przegląda strony internetowe, analizuje ich treść i linki, a następnie zapisuje informacje na temat stron, które odwiedził. Dzięki temu, web crawler umożliwia zbieranie danych z wielu różnych źródeł i tworzenie spójnego indeksu, który może być wykorzystywany do wyszukiwania informacji w sieci. Web crawlers są często wykorzystywane przez wyszukiwarki internetowe, takie jak Google, Bing czy Yahoo, aby zindeksować strony internetowe i umożliwić ich wyszukiwanie użytkownikom.