Как структурировать FastAPI для эффективной обработки запросов и управления интенсивным трафиком? ⇐ Python

[Anonymous]

Я создаю API с использованием FastAPI для обслуживания модели классификации ИИ, и мне нужно руководство о том, как структурировать API для эффективной обработки запросов. Как новичку, мне нужна помощь в понимании наилучшего способа разработки API, включая то, где и как запросы следует ставить в очередь, как их следует обрабатывать и как эффективно обрабатывать высокий трафик.
Я был бы очень признателен за любые рекомендации или советы по этим темам, а также за рекомендации по проектам, ресурсам или ссылкам, которые решают аналогичные проблемы

Подробнее здесь: https://stackoverflow.com/questions/792 ... ffic-manag