self.allowed_domains = [urlparse(i).hostname.strip() for i in data]
self.start_urls = [('http://' + domain) for domain in self.allowed_domains]
super(DownloadSpider, self).__init__(*a, **kw)
Сканирование нескольких сайтов с помощью Python Scrapy с ограниченной глубиной для каждого сайта