Scrapy — как управлять файлами cookie/сессиями ⇐ Python

[Anonymous]

Я немного не понимаю, как файлы cookie работают со Scrapy и как вы ими управляете.

По сути, это упрощенная версия того, что я делаю. пытаюсь сделать:



< hr />

Как работает сайт работает:

Когда вы посещаете веб-сайт, вы получаете сеансовый файл cookie.

Когда вы выполняете поиск, веб-сайт запоминает, что вы искали, поэтому, когда вы делаете что-то, например, переходите на следующую страницу результатов, он знает, с каким поиском он имеет дело.



Мой сценарий:

У моего паука есть начало URL-адрес searchpage_url

Страница поиска запрашивается функцией parse(), и ответ формы поиска передается в search_generator()

Код: Выделить всё

search_generator()

затем выдаетмножество поисковых запросов с использованием FormRequest и ответа формы поиска.

Каждый из этих FormRequests и последующий дочерний элемент запросы должны иметь собственный сеанс, поэтому необходимо иметь собственный отдельный файл cookiejar и собственный файл cookie сеанса.



I видел раздел документации, в котором говорится о мета-опции это предотвращает объединение файлов cookie. Что это на самом деле означает? Означает ли это, что паук, отправляющий запрос, будет иметь свою собственную банку cookie на всю оставшуюся жизнь?

Если файлы cookie находятся на уровне каждого паука, то как это работает, когда появляется несколько пауков? Можно ли заставить только первый генератор запросов создавать новых пауков и гарантировать, что с этого момента только этот паук будет обрабатывать будущие запросы?

Я предполагаю, что мне придется отключить несколько одновременные запросы.. иначе один паук будет выполнять несколько поисковых запросов в рамках одного и того же файла cookie сеанса, и будущие запросы будут относиться только к самому последнему выполненному поиску?

Я запутался. , любые разъяснения будут приняты с благодарностью!



РЕДАКТИРОВАТЬ:

Другой вариант, о котором я только что подумал, — это полностью вручную управлять файлом cookie сеанса и передавать его из один запрос к другому.

Я полагаю, это будет означать отключение файлов cookie... а затем получение файла cookie сеанса из ответа на поиск и передачу его каждому последующему запросу.

Это то, что вам следует делать в этом ситуация?

Подробнее здесь: https://stackoverflow.com/questions/498 ... s-sessions