An ant, an automatic indexer, or a Web scutter.
A spider web, spiderweb, spider's web, or cobweb (from the archaic word coppe, meaning spider) is a device created by a spider out of proteinaceous spider silk extruded from its spinnerets. A program that automatically fetches Web pages. Spiders are used to feed pages to search engines. It's called a spider because it crawls over the Web. Another term for these programs is webcrawler. Because most Web pages contain links to other pages, a spider can start almost anywhere. Web Spider, known as Web Spidus (ウェブ・スパイダス, Web Spidus) in Japan, is a Spider-based Maverick who works for Repliforce as the commander of their guerrilla unit. Before his military career with Repliforce, he was once a Maverick Hunter, belonging to the 0th Special Unit. Part of the Internet technologies glossary: A spider is a program that visits Web sites and reads their pages and other information in order to create entries for a search engine index. The major search engines on the Web all have such a program, which is also known as a crawler or a bot.. A Web crawler may also be called a Web spider, an ant, an automatic indexer, or (in the FOAF software context) a Web scutter. Web search engines and some other sites use Web crawling or spidering software to update their web content or indexes of others sites' web content. The spider for the AltaVista search engine and its Web site is called Scooter. Scooter adheres to the rules of politeness for Web spiders that are specified in the Standard for Robot Exclusion (SRE). It asks each server which files should be excluded from being indexed. It does not (or can not) go through firewall. A spider web, spiderweb, spider's web, or cobweb is a device created by a spider out of spider silk extruded from its spinnerets. Spider webs have existed for at least 100 million years, as witnessed in a rare find of Early Cretaceous amber from Sussex, southern England.
https://en.wikipedia.org/wiki/Spider_web http://www.webopedia.com/TERM/S/spider.html http://megaman.wikia.com/wiki/Web_Spider http://whatis.techtarget.com/definition/spider https://en.wikipedia.org/wiki/Web_crawler http://whatis.techtarget.com/definition/spider http://www.youtube.com/watch?v=Ar3veHKBYvU
what is a web spider
वेब स्पाइडर क्या है
एक चींटी, एक स्वचालित अनुक्रमणिका, या एक वेब कटर।
एक मकड़ी का जाला, मकड़ी का जाला, मकड़ी का जाला, या कोबवेब (पुरातन शब्द कोपे से, जिसका अर्थ है मकड़ी) एक मकड़ी द्वारा बनाया गया एक उपकरण है जो प्रोटीनयुक्त मकड़ी रेशम से बाहर निकलता है जो उसके स्पिनरनेट से निकलता है। एक प्रोग्राम जो स्वचालित रूप से वेब पेज फ़ेच करता है. मकड़ियों का उपयोग खोज इंजन को पृष्ठों को खिलाने के लिए किया जाता है। इसे मकड़ी कहा जाता है क्योंकि यह वेब पर रेंगती है। इन कार्यक्रमों के लिए एक और शब्द वेबक्रॉलर है। क्योंकि अधिकांश वेब पेजों में अन्य पृष्ठों के लिंक होते हैं, एक मकड़ी लगभग कहीं भी शुरू हो सकती है। वेब स्पाइडर, जापान में वेब स्पिडस (ウェブ・スパイダス, वेब स्पिडस) के रूप में जाना जाता है, एक स्पाइडर-आधारित मावरिक है जो अपनी गुरिल्ला इकाई के कमांडर के रूप में रेप्लिफ़ोर्स के लिए काम करता है। रेप्लिफोर्स के साथ अपने सैन्य करियर से पहले, वह एक बार मावरिक हंटर थे, जो 0 वीं स्पेशल यूनिट से संबंधित थे। इंटरनेट प्रौद्योगिकियों की शब्दावली का हिस्सा: एक मकड़ी एक प्रोग्राम है जो वेब साइटों पर जाता है और खोज इंजन सूचकांक के लिए प्रविष्टियां बनाने के लिए उनके पृष्ठों और अन्य जानकारी को पढ़ता है। वेब पर सभी प्रमुख खोज इंजनों में एक ऐसा प्रोग्राम होता है, जिसे क्रॉलर या बॉट के रूप में भी जाना जाता है .. एक वेब क्रॉलर को वेब स्पाइडर, एक चींटी, एक स्वचालित इंडेक्सर, या (एफओएएफ सॉफ्टवेयर संदर्भ में) एक वेब स्कटर भी कहा जा सकता है। वेब खोज इंजन और कुछ अन्य साइटें अपनी वेब सामग्री या अन्य साइटों की वेब सामग्री के अनुक्रमणिका को अपडेट करने के लिए वेब क्रॉलिंग या स्पाइडरिंग सॉफ़्टवेयर का उपयोग करती हैं। अल्ताविस्ता सर्च इंजन और इसकी वेब साइट के लिए मकड़ी को स्कूटर कहा जाता है। स्कूटर वेब मकड़ियों के लिए विनम्रता के नियमों का पालन करता है जो रोबोट बहिष्करण (एसआरई) के लिए मानक में निर्दिष्ट हैं। यह प्रत्येक सर्वर से पूछता है कि किन फ़ाइलों को अनुक्रमित होने से बाहर रखा जाना चाहिए। यह फ़ायरवॉल के माध्यम से नहीं जाता है (या नहीं कर सकता)। एक मकड़ी का जाला, मकड़ी का जाला, मकड़ी का जाला, या कोबवेब एक उपकरण है जो मकड़ी के रेशम से मकड़ी द्वारा बनाया जाता है जो उसके स्पिनरनेट से निकाला जाता है। मकड़ी के जाले कम से कम 100 मिलियन वर्षों से मौजूद हैं, जैसा कि दक्षिणी इंग्लैंड के ससेक्स से प्रारंभिक क्रेटेशियस एम्बर की एक दुर्लभ खोज में देखा गया है।
वेब कोळी म्हणजे काय?
कोळीचे जाळे, कोळ्याचे जाळे, कोळ्याचे जाळे किंवा कोबवेब (कोप्पे या पुरातन शब्दावरून, ज्याचा अर्थ कोळी असा होतो) हे कोळीने आपल्या स्पिनर्समधून बाहेर काढलेल्या प्रथिनेयुक्त कोळ्याच्या रेशीमपासून तयार केलेले उपकरण आहे. एक प्रोग्राम जो स्वयंचलितपणे वेब पृष्ठे आणतो. शोध इंजिनवर पृष्ठे फीड करण्यासाठी कोळ्यांचा वापर केला जातो. त्याला कोळी म्हणतात कारण तो वेबवर रेंगाळतो. या प्रोग्राम्ससाठी आणखी एक संज्ञा म्हणजे वेबक्रॉलर. कारण बहुतेक वेब पृष्ठांमध्ये इतर पृष्ठांचे दुवे असतात, कोळी जवळजवळ कोठेही सुरू होऊ शकतो. जपानमध्ये वेब स्पिडस (ウェブ・スパイダス, वेब स्पिडस) हा एक स्पायडर-आधारित मावेरिक आहे जो त्यांच्या गुरिल्ला युनिटचा कमांडर म्हणून रेप्लिफोर्ससाठी काम करतो. रेप्लिफोर्समधील लष्करी कारकीर्दीपूर्वी, ते एकेकाळी 0 व्या विशेष युनिटशी संबंधित मॅव्हरिक हंटर होते. इंटरनेट तंत्रज्ञान शब्दकोशाचा भाग: कोळी हा एक प्रोग्राम आहे जो शोध इंजिन अनुक्रमणिकेसाठी नोंदी तयार करण्यासाठी वेब साइट्सला भेट देतो आणि त्यांची पृष्ठे आणि इतर माहिती वाचतो. वेबवरील प्रमुख शोध इंजिनमध्ये असा प्रोग्राम असतो, ज्याला क्रॉलर किंवा बॉट म्हणून देखील ओळखले जाते. वेब क्रॉलरला वेब स्पायडर, मुंगी, स्वयंचलित इंडेक्सर किंवा (एफओएएफ सॉफ्टवेअर संदर्भात) वेब स्कटर देखील म्हटले जाऊ शकते. वेब सर्च इंजिन आणि इतर काही साइट्स वेब क्रॉलिंग किंवा स्पायडरिंग सॉफ्टवेअर चा वापर त्यांची वेब सामग्री किंवा इतर साइट्सच्या वेब सामग्रीचे अनुक्रमणिका अद्ययावत करण्यासाठी करतात. अल्टाव्हिस्टा सर्च इंजिन आणि त्याच्या वेबसाईटसाठी स्पायडरला स्कूटर म्हणतात. स्कूटर वेब स्पायडरसाठी नम्रतेच्या नियमांचे पालन करते जे स्टँडर्ड फॉर रोबोट एक्सक्लूजन (एसआरई) मध्ये निर्दिष्ट आहेत. हे प्रत्येक सर्व्हरला विचारते की कोणत्या फायली अनुक्रमित होण्यापासून वगळाव्यात. तो फायरवॉलमधून जात नाही (किंवा जाऊ शकत नाही). कोळ्याचे जाळे, कोळीजाळे, कोळ्याचे जाळे किंवा कोबवेब हे कोळ्याच्या रेशीमपासून कोळीने तयार केलेले उपकरण आहे. कोळ्यांचे जाळे किमान १० ० दशलक्ष वर्षांपासून अस्तित्वात आहेत, हे दक्षिण इंग्लंडमधील ससेक्स येथील क्रिटेशियस अंबरच्या दुर्मिळ शोधात दिसून आले आहे.
मुंगी, स्वयंचलित अनुक्रमणिका किंवा वेब स्कटर.