allowed_domains = ['someurl.com']
start_urls = ['http://www.someurl.com/']
rules = Rule(LxmlLinkExtractor(allow=()), callback='parse_obj', follow=True),

def parse_obj(self, response):
    for link in LxmlLinkExtractor(allow=(), deny=self.allowed_domains
        ).extract_links(response):
        item = someItem()
item['url'] = link.url
Scrapy, используйте только внутренние URL-адреса, но извлекайте все найденные ссылки