Мы разрабатываем веб-приложение со следующими требованиями:
Создание и отображение нескольких пользовательских аватаров в пользовательском интерфейсе.
Разрешение пользователям разговаривать с любым аватаром.
Генерируйте ответы с помощью LLM на серверной стороне.
Отображать анимацию аватаров, синхронизированную с ответами.
Наш текущий подход:
Использование Audio2Face от Nvidia для создания пользовательских аватаров и экспорта в файлы USDПоток речи пользователя:
Преобразование аудио в текст
Использование LLM для генерации ответа
Преобразование текста ответа в аудио
Отправка аудио в Audio2Face через REST API
Дисплей результирующая анимация в пользовательском интерфейсе.
Загружено программное обеспечение Omniverse и сервис Audio2Face.
Созданы аватары и экспортированы в файлы USD.
Изучены rest API. сервиса audio2face.
Как включить файлы USD в наш веб-интерфейс?
Как отображать анимацию аватара в ответ на вопросы пользователя?< /p>
Ограничения:
Должно быть реализовано в локальной системе графического процессора.
Невозможно использовать для этого сторонние API. цель
Любые рекомендации или предложения о том, как этого добиться, будем очень признательны. Спасибо!ваш текст
Подробнее здесь: https://stackoverflow.com/questions/787 ... pplication
