एक वेब क्रॉलर प्रोग्राम लिखें जो किसी वेबसाइट से सभी पोस्ट एकत्र करता है।
यहां हम Python में एक वेब क्रॉलर का बेसिक कोड दे रहे हैं जो किसी वेबसाइट से सभी पोस्ट एकत्र करता है।

पहले, हम यूआरएल और वेब पेज का सोर्स कोड प्राप्त करेंगे। उसके बाद हम सभी लिंक्स पर गुमनामी से जाएँगे और हमें उन पृष्ठों के संदर्भ में रुचि होनी चाहिए जो हम खोज रहे हैं। इसके बाद हम उन पृष्ठों से सम्बंधित सभी डेटा को प्राप्त करके स्क्रीन पर प्रिंट कर सकते हैं।

इसलिए, नीचे दिए गए कोड स्निपेट को संशोधित करके आप एक आसान वेब क्रॉलर प्रोग्राम लिख सकते हैं।

```python
import requests
from bs4 import BeautifulSoup

url = "https://www.example.com" # वेबसाइट यूआरएल दर्ज करें

# अनुरोध भेजें और साइट संरचना प्राप्त करें
r = requests.get(url)
soup = BeautifulSoup(r.content)

# सभी लिंक्स के लिए ढूंढें
for link in soup.find_all('a'):
    href = link.get('href')
    
    # जो संदेश आप खोज रहे हैं उसके लिए लिंक से जुड़े संसाधनों को पूर्वावलोकन करें
    if "post" in href:
        # लिंक से संदेश पृष्ठ का सामग्री प्राप्त करें
        post = requests.get(href)
        post_soup = BeautifulSoup(post.content)
        
        # संदेश से रुचि रखे हुए सभी डेटा को छांटें (इसका उपयोग आप अपने विशेषाधिकारों पर कर सकते हैं)
        post_data = post_soup.find_all('div')

        # संदेश से डेटा हटा कर प्रिंट करें
        for data_point in post_data:
            print(data_point.text)
```

इसमें आप जैसे ही पोस्ट लिंक पर क्लिक करेंगे कि आप खोज रहे हैं, उस संदेश से मिलता-जुलता डेटा आपके सामने होगा। आप इस प्रोग्राम में अपने खोज संदेश तथा डेटा के आधार पर फ़िल्टर लगाकर अपने विशेष संदेशों को खोज सकते हैं।

यदि आप एक उदाहरण की जरूरत है, तो हमने इस ब्लॉग पोस्ट में एक [उदाहरण के साथ एक DOMAIN वेब क्रॉलर बनाने के बारे में बताया है](https://www.datacamp.com/community/tutorials/making-web-crawlers-scrapy-python)।