Проблема с парсингом страницы в Scrapy

Добрый день, друзья! Столкнулся с проблемой следующего характера, паучок должен проваливаться в каточку товара собирать оттуда данные и переходить на ссылку товара с меньшим размером и объединить эти данные в 1 словарь, однако у меня не получается пройти по ссылке на меньший размер и собрать оттуда данные. В интернете ничего подобного не нарыл. Буду очень признателен за помощь. Вот код паука:
class WisellSpider(CrawlSpider):
name = 'wisell'
start_urls = ['https://wisell.ru/catalog/platya/']
allowed_domains = ['wisell.ru']
rules = [Rule(LinkExtractor(restrict_xpaths=['//*[@id="catalog-lements-id"]'],
allow='https://wisell.ru/catalog/\w+/([A-Za-z0-9-]+)'),
callback='check_small_sizes'),
Rule(LinkExtractor(restrict_xpaths=['//*[@id="main-catalog"]/footer[1]/div/ul/li[6]']), follow=True)]
def check_small_sizes(self, response):
selector = Selector(response)
small_link = selector.xpath('//*[@id="size-interval-tabs"]/li[1]/a/@href').extract()[0]
urls = list()
urls.append(response.url)
if small_link != '#size_rang-2' or small_link != '#size_rang-cont-1':
urls.append('http://wisell.ru%s' %
(selector.xpath('//*[@id="size-interval-tabs"]/li[1]/@data-url').extract()[0]))
for url in urls:
yield Request(url=url, callback=self.parse_item, dont_filter=True)
def parse_item(self, response):
selector = Selector(response)
loader = WisellItemLoader(SpidersItem(), selector)
loader.add_value('url', response.url)
loader.add_xpath('name', '//h1/text()')
loader.add_xpath('price', '//*[@id="currency_tab-1"]/div/div[2]/span/span/text()')
sizes_list = selector.xpath('//*[@id="size_rang-1"]/div/ul/li/label//span/text()').extract()
sizes_list.remove(sizes_list[0])
loader.add_value('sizes', sizes_list)
loader.add_value('site', 'wisell')
return loader.load_item()
07 августа 2017 в 14:33
Ближайшие курсы

Как начать свой путь в разработке?
Онлайн-курс
1
марта
Стартуй в веб-разработке
Онлайн-курс
1
марта

Java для начинающих
Знакомство с Java
1
марта
Новые статьи

Как защитить Windows: системный подход
74400

«После Scratch поняла, что не хочу бросать программирование»
124510

Что такое MVP и зачем его делать
85200