Держите работников открытыми и вызывайте их из API для отдыха. ⇐ Python

[Anonymous]

У меня есть несколько вопросов относительно наилучшего способа настройки архитектуры и лучших инструментов, которые я могу использовать в Python для достижения своей цели.
По сути, это будет конечная точка REST API ( созданный с помощью библиотеки FASTAPI), который принимает запрос POST. Тело запроса будет содержать JSON с кучей параметров. Затем функция конечной точки вызовет модель, которая использует входные параметры и возвращает значение — запуск модели займет 3–5 секунд. Модель представляет собой отдельный пакет Python, установленный с помощью pip.
У нас будет в среднем около 30 запросов в секунду и максимум около 60. Это означает, что мне понадобится около 300 потоков/воркеров для обработки этих запросов.
Мой вопрос: что я могу использовать в Python, чтобы настроить несколько рабочих/потоков и вызывать их из функции API? . Нам нужна быстрая модель, поэтому я не хочу запускать рабочий процесс каждый раз при вызове конечной точки (если только он не будет очень быстрым).

Подробнее здесь: https://stackoverflow.com/questions/789 ... m-rest-api