Crawlee Python: как добавить пользовательские файлы cookie в запрос ⇐ Python

[Anonymous]

Как правильно добавить специальные файлы cookie (пары ключ-значение) в запрос, выполняемый через Crawlee?
Предположим, веб-сайту требуются специальные файлы cookie для целей аутентификации (cookie sid= 1234), как добавить этот файл cookie ко всем последующим запросам к страницам категорий в этом примере (не включать во все запросы, а к этой категории-назначению).
Существует что-то вроде сеанс и пул сеансов, но как добраться до этих объектов?
В документации описано, что max_pool_size пула сеансов имеет размер по умолчанию 1000, следует ли затем перебирать все сеансов в пуле сеансов и установить для каждого сеанса идентификатор сеанса в session.cookies (dict)?
Если да, то как добраться до этих объектов?
Представьте себе Ниже из руководства обработчик по умолчанию обрабатывает входящий запрос и хочет поставить запросы на страницы категорий. Допустим, для этих страниц категорий требуется установить этот sid-cookie. Как этого добиться?
файл: main.py

Код: Выделить всё

async def main() -> None:

crawler = PlaywrightCrawler(

# Let's limit our crawls to make our tests shorter and safer.
max_requests_per_crawl=50,
# Provide our router instance to the crawler.
request_handler=router,
headless=False
)

# start crawler based on default request-queue
await crawler.run(['https://warehouse-theme-metal.myshopify.com/collections'])

файл: маршруты.py

Код: Выделить всё

@router.default_handler
async def default_handler(context: PlaywrightCrawlingContext) -> None:
# This is a fallback route which will handle the start URL.
context.log.info(f'default_handler is processing {context.request.url}')

await context.page.wait_for_selector('.collection-block-item')

await context.enqueue_links(
selector='.collection-block-item',
label='CATEGORY',
)

Посмотрел документацию, проверил Google, Stackoverflow, примеры кода, ничего по этой теме.

Подробнее здесь: https://stackoverflow.com/questions/791 ... -a-request