Scrapy – не фильтровать некоторые URL-адреса на основе http status_code ⇐ Python

[Anonymous]

У меня есть собственный фильтр дублирования, который я использую для загрузки/сохранения состояния сканирования в s3 при его запуске/остановке.
Я хочу удалить из фильтра дублирования URL-адреса, которые определенный http status_code, например 429.
Моя первоначальная идея заключалась в том, чтобы собрать все неудачные URL-адреса в методе Spider_closed и удалить все URL-адреса, отличные от 200, из просмотренных перед сохранением их в s3, но Я не могу заставить его работать и не уверен, что это лучший подход.
Вот мой класс dupefilter:
from scrapy.dupefilters import BaseDupeFilter
import hashlib
import pickle

class S3DupeFilter(BaseDupeFilter):

@classmethod
def from_crawler(cls, crawler):
bucket_name = ...
key_name = ...
logger = crawler.spider.logger
return cls(bucket_name, key_name, logger)

def __init__(self, bucket, key, logger):
super(S3DupeFilter, self).__init__()
self.bucket_name = bucket
self.key_name = key
self.logger = logger
self.seen = set()
self.load()

def request_seen(self, request):
fp = self.request_fingerprint(request)
if fp in self.seen:
return True
self.seen.add(fp)
return False

def close(self, reason):
self.save()

def load(self):
try:
self.seen = aws_s3_read_data(...)
if not self.seen:
self.seen = set()
self.logger.info(f"Loaded {len(self.seen)} fingerprints from S3")
except Exception as e:
self.logger.error(f"Error loading dupefilter from S3: {e}")

def save(self):
try:
serialized_seen = pickle.dumps(self.seen)
aws_s3_insert_data(...)
self.logger.info(f"Saved {len(self.seen)} fingerprints to S3")
except Exception as e:
self.logger.error(f"Error saving dupefilter to S3: {e}")

def request_fingerprint(self, request):
return hashlib.sha256(request.url.encode('utf-8')).hexdigest()

def open(self):
pass



Подробнее здесь: https://stackoverflow.com/questions/791 ... tatus-code