Я использую сервер вывода Triton с серверной частью Python и в настоящий момент отправляю запросы gRPC. Кто-нибудь знает, как мы можем использовать серверную часть Python для потоковой передачи (например, ответов модели), потому что я не нашел в документации примеров, связанных с потоковой передачей.
Подробнее здесь: https://stackoverflow.com/questions/712 ... on-backend
Мобильная версия