Вот последовательность действий:
- Получайте аудиофрагменты в реальном времени.
- Отправьте эти фрагменты в видеогенератор, который создает видеокадры, такие как видео говорящей головы, на основе статического изображения.
- Затем транслируйте как аудио, так и видео. кадры в режиме реального времени.
Создал контейнер следующим образом:
Код: Выделить всё
self.mux_buffer = io.BytesIO()
self.mux_container = av.open(
self.mux_buffer,
mode="w",
format="mp4",
options={
"movflags": "frag_keyframe+empty_moov+default_base_moof"
}
)
Есть ли решение этой проблемы?
Или есть лучший подход для потоковой передачи аудиофрагментов + видеокадров (с синхронизацией) в реальном времени?
Подробнее здесь: https://stackoverflow.com/questions/798 ... io-for-rts