Вопросы развертывания для службы искусственного интеллекта с использованием моделей Ollama ⇐ Python

[Anonymous]

Я планирую развернуть приложение, которое использует модели LLM. В настоящее время я использую контейнер Docker для запуска модели через Ollama, и я использую IP -адрес Localhost для доступа к моему LLM.
Теперь я хочу развернуть его в Azure. Я могу использовать DataBricks для моего приложения. Каким будет лучшая опция развертывания для моего приложения? Где мне хранить свое приложение Python, чтобы иметь доступ к местным API Ollama и легко запустить его с помощью некоторых пользовательских вводов?
Большое спасибо.

Подробнее здесь: https://stackoverflow.com/questions/796 ... ama-models