{"text": "### Human: Jelaskan apa itu web crawler. ### Assistant: Web crawler, kadang-kadang disebut sebagai spider, adalah program perangkat lunak atau skrip yang secara sistematis menjelajahi internet untuk mengindeks halaman web dan mengumpulkan informasi. Sering digunakan oleh mesin pencari, crawler web memindai halaman web dan mengikuti tautan di halaman-halaman tersebut untuk menemukan halaman baru dan menambahkannya ke indeks mereka. Informasi yang dikumpulkan oleh crawler web digunakan untuk meningkatkan kinerja dan akurasi mesin pencari dengan memberikan hasil pencarian yang relevan dan terkini. Web crawler juga dapat digunakan untuk berbagai tujuan lain, seperti penambangan data, pemantauan situs, arsip, dan pengumpulan intelijen pemasaran. Namun, sebagian besar crawler web dirancang untuk mengikuti aturan dan protokol seperti file robots.txt, yang memberi tahu mereka halaman mana yang diizinkan untuk dikerjakan dan yang tidak. Ini membantu mencegah overloading atau dengan permintaan yang terlalu banyak yang merusak situs web."}