DOWNLOADER_MIDDLEWARES = {'myproject.middlewares.IgnoreDuplicates': 543,
    'scrapy.contrib.downloadermiddleware.httpproxy.HttpProxyMiddleware': 500}
Использование промежуточного программного обеспечения для игнорирования дубликатов в Scrapy