An ant, an automatic indexer, or a Web scutter.
A spider web, spiderweb, spider's web, or cobweb (from the archaic word coppe, meaning spider) is a device created by a spider out of proteinaceous spider silk extruded from its spinnerets. A program that automatically fetches Web pages. Spiders are used to feed pages to search engines. It's called a spider because it crawls over the Web. Another term for these programs is webcrawler. Because most Web pages contain links to other pages, a spider can start almost anywhere. Web Spider, known as Web Spidus (ウェブ・スパイダス, Web Spidus) in Japan, is a Spider-based Maverick who works for Repliforce as the commander of their guerrilla unit. Before his military career with Repliforce, he was once a Maverick Hunter, belonging to the 0th Special Unit. Part of the Internet technologies glossary: A spider is a program that visits Web sites and reads their pages and other information in order to create entries for a search engine index. The major search engines on the Web all have such a program, which is also known as a crawler or a bot.. A Web crawler may also be called a Web spider, an ant, an automatic indexer, or (in the FOAF software context) a Web scutter. Web search engines and some other sites use Web crawling or spidering software to update their web content or indexes of others sites' web content. The spider for the AltaVista search engine and its Web site is called Scooter. Scooter adheres to the rules of politeness for Web spiders that are specified in the Standard for Robot Exclusion (SRE). It asks each server which files should be excluded from being indexed. It does not (or can not) go through firewall. A spider web, spiderweb, spider's web, or cobweb is a device created by a spider out of spider silk extruded from its spinnerets. Spider webs have existed for at least 100 million years, as witnessed in a rare find of Early Cretaceous amber from Sussex, southern England.
https://en.wikipedia.org/wiki/Spider_web http://www.webopedia.com/TERM/S/spider.html http://megaman.wikia.com/wiki/Web_Spider http://whatis.techtarget.com/definition/spider https://en.wikipedia.org/wiki/Web_crawler http://whatis.techtarget.com/definition/spider http://www.youtube.com/watch?v=Ar3veHKBYvU
what is a web spider
वेब स्पाइडर क्या है
एक चींटी, एक स्वचालित अनुक्रमणिका, या एक वेब कटर।
एक मकड़ी का जाला, मकड़ी का जाला, मकड़ी का जाला, या कोबवेब (पुरातन शब्द कोपे से, जिसका अर्थ है मकड़ी) एक मकड़ी द्वारा बनाया गया एक उपकरण है जो प्रोटीनयुक्त मकड़ी रेशम से बाहर निकलता है जो उसके स्पिनरनेट से निकलता है। एक प्रोग्राम जो स्वचालित रूप से वेब पेज फ़ेच करता है. मकड़ियों का उपयोग खोज इंजन को पृष्ठों को खिलाने के लिए किया जाता है। इसे मकड़ी कहा जाता है क्योंकि यह वेब पर रेंगती है। इन कार्यक्रमों के लिए एक और शब्द वेबक्रॉलर है। क्योंकि अधिकांश वेब पेजों में अन्य पृष्ठों के लिंक होते हैं, एक मकड़ी लगभग कहीं भी शुरू हो सकती है। वेब स्पाइडर, जापान में वेब स्पिडस (ウェブ・スパイダス, वेब स्पिडस) के रूप में जाना जाता है, एक स्पाइडर-आधारित मावरिक है जो अपनी गुरिल्ला इकाई के कमांडर के रूप में रेप्लिफ़ोर्स के लिए काम करता है। रेप्लिफोर्स के साथ अपने सैन्य करियर से पहले, वह एक बार मावरिक हंटर थे, जो 0 वीं स्पेशल यूनिट से संबंधित थे। इंटरनेट प्रौद्योगिकियों की शब्दावली का हिस्सा: एक मकड़ी एक प्रोग्राम है जो वेब साइटों पर जाता है और खोज इंजन सूचकांक के लिए प्रविष्टियां बनाने के लिए उनके पृष्ठों और अन्य जानकारी को पढ़ता है। वेब पर सभी प्रमुख खोज इंजनों में एक ऐसा प्रोग्राम होता है, जिसे क्रॉलर या बॉट के रूप में भी जाना जाता है .. एक वेब क्रॉलर को वेब स्पाइडर, एक चींटी, एक स्वचालित इंडेक्सर, या (एफओएएफ सॉफ्टवेयर संदर्भ में) एक वेब स्कटर भी कहा जा सकता है। वेब खोज इंजन और कुछ अन्य साइटें अपनी वेब सामग्री या अन्य साइटों की वेब सामग्री के अनुक्रमणिका को अपडेट करने के लिए वेब क्रॉलिंग या स्पाइडरिंग सॉफ़्टवेयर का उपयोग करती हैं। अल्ताविस्ता सर्च इंजन और इसकी वेब साइट के लिए मकड़ी को स्कूटर कहा जाता है। स्कूटर वेब मकड़ियों के लिए विनम्रता के नियमों का पालन करता है जो रोबोट बहिष्करण (एसआरई) के लिए मानक में निर्दिष्ट हैं। यह प्रत्येक सर्वर से पूछता है कि किन फ़ाइलों को अनुक्रमित होने से बाहर रखा जाना चाहिए। यह फ़ायरवॉल के माध्यम से नहीं जाता है (या नहीं कर सकता)। एक मकड़ी का जाला, मकड़ी का जाला, मकड़ी का जाला, या कोबवेब एक उपकरण है जो मकड़ी के रेशम से मकड़ी द्वारा बनाया जाता है जो उसके स्पिनरनेट से निकाला जाता है। मकड़ी के जाले कम से कम 100 मिलियन वर्षों से मौजूद हैं, जैसा कि दक्षिणी इंग्लैंड के ससेक्स से प्रारंभिक क्रेटेशियस एम्बर की एक दुर्लभ खोज में देखा गया है।