Selenium BlockingIOError: [Errno 11] Ресурс временно недоступен ⇐ Python

[Anonymous]

Я запускаю несколько браузеров в отдельных потоках с помощью Selenium 4.2.0 (FireFox) и сельдерея в контейнере докеров.
Программа работает нормально, но существенно объем данных. У меня ошибка (см. трассировку ниже).
Я читал об ошибке https://www.pythonanywhere.com/forums/topic/1298/
Похоже Речь идет о нарушении лимита ОС.
Как понять причину ошибки и способы ее устранения?
Traceback (most recent call last):
celery-1 | File "/project/parser_app/celery_tasks.py", line 221, in check_urls
celery-1 | parser = YandexParser()
celery-1 | File "/project/parser_app/parser/common.py", line 195, in __init__
celery-1 | self.driver = get_firefox_driver(proxy_data=proxy_data)
celery-1 | File "/project/parser_app/parser/common.py", line 79, in get_firefox_driver
celery-1 | driver = webdriver.Firefox(options=options, seleniumwire_options=proxy_options, firefox_profile=firefox_profile)
celery-1 | File "/usr/local/lib/python3.9/site-packages/seleniumwire/webdriver.py", line 179, in __init__
celery-1 | super().__init__(*args, **kwargs)
celery-1 | File "/usr/local/lib/python3.9/site-packages/selenium/webdriver/firefox/webdriver.py", line 172, in __init__
celery-1 | self.service.start()
celery-1 | File "/usr/local/lib/python3.9/site-packages/selenium/webdriver/common/service.py", line 71, in start
celery-1 | self.process = subprocess.Popen(cmd, env=self.env,
celery-1 | File "/usr/local/lib/python3.9/subprocess.py", line 951, in __init__
celery-1 | self._execute_child(args, executable, preexec_fn, close_fds,
celery-1 | File "/usr/local/lib/python3.9/subprocess.py", line 1770, in _execute_child
celery-1 | self.pid = _posixsubprocess.fork_exec(
celery-1 | BlockingIOError: [Errno 11] Resource temporarily unavailable


Я проверил количество доступных тем
cat /proc/sys/kernel/pid_max
4194304

Также проверено количество процессов-зомби
ps aux | awk '$8 ~ /^[Zz]/' | wc -l
35990

И свободное место на диске
~/new_app$ df -h --total
Filesystem Size Used Avail Use% Mounted on
udev 16G 0 16G 0% /dev
tmpfs 3.2G 1004K 3.2G 1% /run
/dev/sda2 9.8G 3.3G 6.0G 36% /
tmpfs 16G 0 16G 0% /dev/shm
tmpfs 5.0M 0 5.0M 0% /run/lock
/dev/sdb 100G 5.1G 95G 6% /data
tmpfs 3.2G 0 3.2G 0% /run/user/1001
total 148G 8.4G 139G 6% -


Подробнее здесь: https://stackoverflow.com/questions/792 ... navailable