Например, когда я использую сайт
https://en.zalando.de/men-shoes-boots/, считывается только 37 элементов. Я понимаю, что для перехода на следующую страницу должна быть какая-то нумерация страниц, но на самой первой странице гораздо больше элементов, чем 37, и я не могу понять, почему скрипт останавливается на 37.Буду очень признателен за любую помощь!!
Моя программа поиска элементов моего паука выглядит так:
Код: Выделить всё
class ZalandoSpider (scrapy.Spider):
name = 'zalando'
start_urls = [
'https://en.zalando.de/men-shoes-boots/'
]
def parse(self,response):
alle_elementen = response.css('.DvypSJ')
print('length=' + str(len(alle_elementen)))
Возможно, это как-то связано с бесконечной прокруткой, но я безрезультатно просматриваю страницу сети уже более 2 часов.
Заранее спасибо
Подробнее здесь:
https://stackoverflow.com/questions/664 ... t-of-items