Как я могу клонировать голос пользователя для ответов ИИ в реальном времени локально в Python, не отправляя данные на се ⇐ Python

[Anonymous]

Я хочу внедрить систему преобразования текста в речь в режиме реального времени, в которой ИИ реагирует, используя копию собственного голоса пользователя.
Основные цели:

• Вся обработка происходит локально (на устройстве пользователя) для сохранения конфиденциальности.
• Диалог кажется мгновенным и естественным (малая задержка).
• Решение программно реализуется на Python.

Конкретные технические вопросы
Как я могу захватить и клонировать голос пользователя из коротких аудиосэмплов на локальном компьютере?
Существуют ли библиотеки или платформы Python, которые позволяют использовать TTS в реальном времени с использованием клонированного голоса?
/>Как можно минимизировать задержку, чтобы ответы ИИ воспринимались как живой разговор?
Как это можно сделать, не отправляя конфиденциальные аудиоданные на внешние серверы?

Попытки/исследования
Я изучал:
OpenAI TTS API
Клонирование голоса ElevenLabs
Coqui TTS
…но я не уверен, как их можно интегрировать локально, сохраняя при этом конфиденциальность и производительность в режиме реального времени.

Ожидаемый результат
Мне нужна система, в которой:

• Пользователь говорит естественно.
• ИИ слушает, обрабатывает и отвечает на словах пользователя клонированный голос.
• Вся обработка остается локальной, обеспечивая конфиденциальность и взаимодействие в режиме реального времени.

Примечание. Такие понятия, как клонирование голоса и ответы ИИ в реальном времени, включены в текст вместо тегов, поскольку новые теги невозможно создать с моей текущей репутацией.

Подробнее здесь: https://stackoverflow.com/questions/798 ... ython-with