class DuplicatesPipeline(object):

    def __init__(self):
        self.ids_seen = set()

def process_item(self, item, spider):
    pass
Использование промежуточного программного обеспечения для предотвращения двойного посещения веб-сайтов скрапом