Парсинг веб-страниц Myntra на виртуальной машине ⇐ Python

[Anonymous]

Я пытаюсь выполнить парсинг веб-страниц для Myntra, но когда я делаю это с помощью Selenium или Requests, на виртуальной машине это не работает. Может ли кто-нибудь мне помочь с этим?
Я попробовал Selenium и Requests в Python, но не смог получить результаты на виртуальной машине.
Я получил эту ошибку, когда попробовал Scrapy.Spider:
Мой код:
import scrapy

class MySpider(scrapy.Spider):
name = "myntra"
start_urls = ["https://www.myntra.com/handbags/miraggi ... 624596/buy"]

custom_settings = {
'DOWNLOAD_DELAY': 1,
'CONCURRENT_REQUESTS': 1,
'RETRY_TIMES': 3,
'RETRY_HTTP_CODES': [500, 503, 504, 400, 403, 404, 408],
'DOWNLOADER_MIDDLEWARES': {
'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
'scrapy.downloadermiddlewares.retry.RetryMiddleware': 90,
'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 110,
}
}

def parse(self, response):
price = response.xpath("//span[@class='pdp-price']/text()").extract()
yield {'price': price}

Вот мой журнал ошибок:
24-11-21 22:35:14 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)

2024-11-21 22:35:14 [scrapy.downloadermiddlewares.retry] DEBUG: Retrying (failed 1 times): User timeout caused connection failure: Getting https://www.myntra.com/handbags/miraggi ... 624596/buy took longer than 180.0 seconds.

2024-11-21 22:35:14 [scrapy_user_agents.middlewares] DEBUG: Assigned User-Agent Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36


Подробнее здесь: https://stackoverflow.com/questions/792 ... al-machine