Потоковая передача ответов с сервера вывода Triton с помощью бэкэнда Python ⇐ Python

[Anonymous]

Я использую сервер вывода Triton с серверной частью Python и в настоящий момент отправляю запросы gRPC. Кто-нибудь знает, как мы можем использовать серверную часть Python для потоковой передачи (например, ответов модели), потому что я не нашел в документации примеров, связанных с потоковой передачей.

Подробнее здесь: https://stackoverflow.com/questions/712 ... on-backend