Отдельная среда Python для каждой модели в TorchServe ⇐ Python
-
Anonymous
Отдельная среда Python для каждой модели в TorchServe
Может ли TorchServe запускать отдельные среды Python для каждой модели в TorchServe?
Сейчас у меня в производстве 4 модели, и все они используют пакет transformers==3.1.0. В новой модели, которая скоро будет запущена в производство, используются transformers==4.25.1.
Может ли один и тот же экземпляр TorchServe размещать все эти модели?
Просматривая документацию TorchServe, я нашел параметр install_py_dep_per_model, но думаю, что он используется для глобальной установки зависимостей. Текущий проект устанавливает зависимости прямо в образ докера, поэтому я раньше не использовал этот параметр.
Может ли TorchServe запускать отдельные среды Python для каждой модели в TorchServe?
Сейчас у меня в производстве 4 модели, и все они используют пакет transformers==3.1.0. В новой модели, которая скоро будет запущена в производство, используются transformers==4.25.1.
Может ли один и тот же экземпляр TorchServe размещать все эти модели?
Просматривая документацию TorchServe, я нашел параметр install_py_dep_per_model, но думаю, что он используется для глобальной установки зависимостей. Текущий проект устанавливает зависимости прямо в образ докера, поэтому я раньше не использовал этот параметр.
