Как клонировать голос пользователя и генерировать речевой звук с тем же голосом ⇐ Python

[Гость]

Я и моя команда фактически работали над проектом по дублированию видео на региональные языки Индии с использованием Python. Нам удалось завершить расшифровку видео и его преобразование на другие языки. Для генерации речи у нас есть основная идея: мы сможем клонировать голос пользователя и генерировать речь на основе этого пользовательского голоса пользователя, а затем объединить видео и аудио. Мы застряли на этапе клонирования голоса и генерации речи. Если кто-нибудь знает какие-либо библиотеки, модели или любой другой подход для достижения этого процесса, помогите мне. Даже кто-то знает о какой-либо модели, которая поддерживает синхронизацию губ для индивидуального звука, и это может нам очень помочь.

Ожидание достижения цели любым подходящим и бесплатным подходом. Использование любого API — наш последний вариант, но если кто-нибудь знает какой-либо API, пожалуйста, укажите