Веб-скрапинг - Цены в интернет-магазине Tesco - Запросы Python ⇐ Python

[Anonymous]

Некоторое время я отслеживал цены Tesco в интернет-магазинах пива, но в этот понедельник они реализовали кое-что, над чем я не могу разобраться. Я использую запросы для получения HTML-контента, а затем очищаю его для извлечения необходимых данных. До сих пор я передавал User-Agent только в заголовках, чего было достаточно, чтобы получить ответ, но теперь ответа нет.
Единственный способ заставить мой скрипт снова работать - это открыть ссылку в браузере вручную и скопировать весь файл cookie из заголовков запросов в заголовки моего сценария Python рядом с User-Agent.
Тем не менее, я действительно не знаю, как я могу автоматически генерировать необходимую часть этого файла cookie. Сценарий будет запускаться автоматически ежедневно, но теперь он требует от меня каждый раз изменять часть файлов cookie заголовков.
Есть ли какой-нибудь способ автоматизировать это?
Заранее большое спасибо!
Приятель
import requests
from scrapy import Selector

headers = {
'Cookie': **'here comes the entire requests cookie string from browser manually'**,
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.0.0 Safari/537.36'
}

page_url = ('https://bevasarlas.tesco.hu/groceries/h ... -cider/all')
html = requests.get(url = page_url, headers = headers, timeout = 10).content

sel = Selector(text = html)
scraped_data = sel.xpath('//li[contains(@class, "product-list--list-item")]')
card = scraped_data[0]
name = card.xpath('.//span[@class="styled__Text-sc-1xbujuz-1 ldbwMG beans-link__text"]/text()').extract()


Подробнее здесь: https://stackoverflow.com/questions/762 ... n-requests