from scrapy.exceptions import DontCloseSpider
from scrapy.xlib.pydispatch import dispatcher


class FooSpider(scrapy.Spider):

    def __init__(self, *args, **kwargs):
        super(FooSpider, self).__init__(*args, **kwargs)
dispatcher.connect(self.spider_idle, signals.spider_idle)

def spider_idle(self):
    raise DontCloseSpider
Как создать веб-сканер на основе Scrapy, чтобы он работал вечно?