Я проводил исследования и на данный момент нашел пакет Python, который планирую использовать в его Scrapy. Теперь я пытаюсь выяснить, какой хороший способ создать парсер с использованием Scrapy для сканирования сайта с бесконечной прокруткой. Покопавшись, я обнаружил, что существует пакет вызова selenium и у него есть модуль Python. У меня такое чувство, что кто-то уже сделал это, используя Scrapy и Selenium, чтобы очистить сайт с бесконечной прокруткой. Было бы здорово, если бы кто-нибудь указал на пример.
Подробнее здесь: https://stackoverflow.com/questions/227 ... ing-python
