class Torrent(ScrapedItem):
    pass


class MininovaSpider(CrawlSpider):
    domain_name = 'mininova.org'
start_urls = ['http://www.mininova.org/today']
rules = [Rule(RegexLinkExtractor(allow=['/tor/\\d+']), 'parse_torrent')]

def parse_torrent(self, response):
    x = HtmlXPathSelector(response)
torrent = Torrent()
torrent.url = response.url
torrent.name = x.x('//h1/text()').extract()
torrent.description = x.x("//div[@id='description']").extract()
torrent.size = x.x("//div[@id='info-left']/p[2]/text()[2]").extract()
return [torrent]
Кто-нибудь знает хороший веб-сканер на основе Python, который я мог бы использовать?