Статус неряшливой ручки 202 ⇐ Python

[Anonymous]

Я новичок в веб-скрапинге, и в частности в использовании пауков и конвейеров Scrapy...
Я получаю статус 202 в ответ на некоторые запросы пауков, поэтому содержимое страницы еще не доступно.
Как правильно обрабатывать этот код состояния, например «дождитесь полной загрузки страницы»?
Я видел/изучил get_retry_request и реактор Scrapy Downloadermiddleware callLater с лямбдой, чтобы попытаться обработать повторные попытки с задержкой, но пока безуспешно...
(например,

Код: Выделить всё

yield scrapy.downloadermiddlewares.retry.get_retry_request(
request=response.request, spider=self, reason='202 Accepted - retrying after delay', max_retry_times=self.max_retries)

или что-то вроде:

Код: Выделить всё

reactor.callLater(self.retry_delay,
lambda: self.crawler.engine.crawl(
scrapy.Request(
url=response.url,
callback=self.parse,
meta={'location_name': response.meta.get('location_name', ''),'retries': retries + 1})))

)
Заранее благодарим за любую поддержку!

Подробнее здесь: https://stackoverflow.com/questions/798 ... status-202