Как учитывать различные задержки сканирования при циклическом просмотре массива URL-адресов? ⇐ Python

[Anonymous]

В модулях urllib3 или Requests и при использовании ThreadPoolExecutor из concurrent.futures, как я могу учитывать различные задержки сканирования при циклическом просмотре массива URL-адресов?
В приведенном ниже примере первые три URL-адреса принадлежат одному и тому же серверу и имеют одинаковую задержку сканирования (поэтому после очистки одной страницы я не могу сделать другой запрос на ту же или другую страницу на том же сервере до истечения периода задержки).
Другие URL-адреса находятся на разных серверах и должны учитывать другую задержку сканирования или ее отсутствие.
urls = [
"https://news.ycombinator.com/", #Crawl-Delay 30
"https://news.ycombinator.com/?p=2", #Crawl-Delay 30
"https://news.ycombinator.com/?p=3", #Crawl-Delay 30
"https://www.infoworld.com/", #Crawl-Delay None
"https://www.theregister.com", #Crawl-Delay 5
]

Вот выдержка из кода, который я использую:
from concurrent.futures import ThreadPoolExecutor, as_completed
import requests
from bs4 import BeautifulSoup

def fetch_url(url):
response = requests.get(url)
data = response.content
return BeautifulSoup(data, "lxml")

def main():
with ThreadPoolExecutor(max_workers=10) as executor:
futures = {executor.submit(fetch_url, url): url for url in urls}

for future in as_completed(futures):
url = futures[future]
try:
soup = future.result()
except Exception as e:
print(f"Error processing {url}: {e}")


Подробнее здесь: https://stackoverflow.com/questions/791 ... -url-array