link = site.xpath('a/@href').extract()
item['link'] = link
link = ''.join(link)
new_request = Request(link, callback=self.parse_file_page)
new_request.meta['item'] = item
yield new_request
Scrapy — как сканировать новые страницы на основе ссылок в извлеченных элементах