Лучший способ разместить несколько файлов модели Pytorch для вывода? ⇐ Python

[Anonymous]

Контекст: [*]Я работаю со сквозной структурой TTS глубокого обучения (вы вводите текст, а он возвращает wav-объект) [*]Я создал конечную точку FastAPI в Docker-контейнере, который использует структуру TTS для вывода. [*]Мой клиентский интерфейс обращается к этой конечной точке FastAPI, чтобы сделать вывод на сервере графического процессора. [*]У меня будет несколько докер-контейнеров за балансировщиком нагрузки (haproxy), на которых будет работать один и тот же образ конечной точки FastAPI. Мои вопросы: [*]Выбор хранилища. Каков рекомендуемый подход к размещению файлов модели при развертывании нескольких контейнеров Docker? Следует ли мне использовать тома Docker или целесообразно использовать облачные хранилища, такие как S3 или Digital Ocean Spaces, для централизованного хранения моделей? [*]Проблемы с задержкой. Как минимизировать задержку при получении моделей из облачного хранилища? Существуют ли конкретные методы или оптимизации (кэширование, частичная загрузка и т. д.), которые можно реализовать для уменьшения влияния задержки, особенно при переключении между различными моделями для вывода?
Я все еще изучаю mlops, поэтому буду благодарен за любую помощь.