Улучшение отслеживания данных с помощью фильтра «Сканировать один раз» в Scrapy ⇐ Python

[Anonymous]

Я использую фильтр «Сканировать один раз» в Scrapy, чтобы избежать повторного сканирования одной и той же ссылки, что помогает снизить общее использование прокси. Есть ли способ настроить промежуточное программное обеспечение так, чтобы, когда «однократное сканирование» активно и обнаруживает ранее очищенный список, оно все равно могло выдавать UID и ScrapeTime для этого списка? Если нет, ничего страшного, но я надеюсь улучшить отслеживание данных на серверной стороне.
Спасибо!
Я пытался создать собственный промежуточное программное обеспечение «просканировать один раз», но мы не можем ничего получить или вернуть из промежуточного программного обеспечения.

Подробнее здесь: https://stackoverflow.com/questions/791 ... -in-scrapy