def process_request(self, request, spider):
    if request.url in self.crawled_urls:
        raise IgnoreRequest()
Использование промежуточного программного обеспечения для игнорирования дубликатов в Scrapy