Почему мой паук извлекает ограниченное количество предметов ⇐ Python

[Anonymous]

Например, когда я использую сайт https://en.zalando.de/men-shoes-boots/, считывается только 37 элементов. Я понимаю, что для перехода на следующую страницу должна быть какая-то нумерация страниц, но на самой первой странице гораздо больше элементов, чем 37, и я не могу понять, почему скрипт останавливается на 37.Буду очень признателен за любую помощь!!
Моя программа поиска элементов моего паука выглядит так:

Код: Выделить всё

class ZalandoSpider (scrapy.Spider):
name = 'zalando'
start_urls = [
'https://en.zalando.de/men-shoes-boots/'
]

def parse(self,response):

alle_elementen = response.css('.DvypSJ')
print('length=' + str(len(alle_elementen)))

Возможно, это как-то связано с бесконечной прокруткой, но я безрезультатно просматриваю страницу сети уже более 2 часов.
Заранее спасибо

Подробнее здесь: https://stackoverflow.com/questions/664 ... t-of-items