Как не перегружать сервер при запуске тысяч приложений Python с помощью Celery и RabbitMQ ⇐ Python

[Anonymous]

У меня около 1000 небольших приложений Python, которые работают более или менее одновременно. Он работает на сервере Ubuntu.
Эти приложения каждую ночь извлекают данные из большой базы данных и генерируют отчеты в формате PDF. Это отнимает довольно много времени.
Я изучал некоторые фоновые задания на Python и обнаружил, что Celery и RabbitMQ — это комбинация, на которую мне, вероятно, следует обратить внимание.
Идея заключалась в том, что я бы установил RabbitMQ на сервер, которым можно было бы управлять через systemctl. Это будет глобальная очередь для всех приложений Python.
И тогда каждое отдельное приложение Python запустится (и это вызовет запуск Celery) и отправит данные в RabbitMQ, откуда они будут постепенно берется и выполняется (создается PDF-документ).
Однако меня беспокоит то, что если эти 1000 сценариев Python будут запускаться одновременно И запускать свой экземпляр Celery, это, вероятно, перегрузит сервер.
Как мне справиться с такой ситуацией?

Подробнее здесь: https://stackoverflow.com/questions/791 ... tions-with