Экспорт FFmpeg выводит только первое входное видео, в то время как предварительный просмотр React показывает несколько к ⇐ Javascript

[Anonymous]

Я создаю SaaS-сервис для редактирования видео через Интернет, используя Next.js (интерфейс) и Node.js + FFmpeg (бэкэнд-экспорт).

В приложении есть два рабочих процесса экспорта, которые используют одну и ту же службу экспорта:

• Экспорт рейтингов – несколько видеоклипов упорядочиваются и экспортируются как один сшитый видео
• Экспорт разделенного экрана – два видео объединяются в разделенный макет сверху/снизу

Описание проблемы
Поведение при предварительном просмотре (работает правильно)

• Предварительный просмотр отображается с помощью React + CSS
• Несколько клипов плавно воспроизводятся в редакторе рейтингов
• Правильный порядок
• При предварительном просмотре на разделенном экране правильно отображаются оба видео
• Субтитры видны в предварительный просмотр

Поведение экспорта (не работает)

• Экспорт FFmpeg завершается без ошибок
• Выходной файл сгенерирован успешно
• Экспорт рейтингов включает только первый видеоклип
• Остальные клипы игнорируются или вызывают сбои.
• Экспорт разделенного экрана показывает только один видеовход.
• Субтитры не отображаются в экспортированном видео.

Так что проблема в том, что не воспроизводится, но Неправильная логика рендеринга FFmpeg.

Соответствующие технические подробности

• Все исходные видео являются действительными файлами MP4
• Видео могут иметь:
  
  различное разрешение
• различная частота кадров

[*]Экспорт запускается через серверную часть Node.js с использованием child_process

[*]Ошибки или предупреждения FFmpeg не регистрируются

[*]В настоящее время при экспорте выполняется один FFmpeg команда



Предполагаемые причины

• Экспорт рейтингов
  • В FFmpeg передается только первое входное видео
  • Нет правильной логики объединения применяется
  • Клипы не нормализуются перед объединением
• Экспорт в разделенном экране
  • FFmpeg вызывается с несколькими входными данными, но без надлежащего filter_complex
  • Только один входной поток отображается на выход
• Субтитры
  • Субтитры существуют только во внешнем состоянии (DOM/CSS)
  • Они не записываются в видео во время FFmpeg экспорт

Что я пытаюсь сделать
Экспорт рейтингов

• Возьмите упорядоченный массив клипов MP4
• Нормализовать их до:
  
  одного разрешения
• одинаковой частоты кадров
• одного кодека

[*]Объединить их в один плавный MP4 вывод


Экспорт в разделенном экране

• Возьмите два входных файла MP4
• Объедините их в макет сверху/снизу
• Выведите один Видео 1080×1920

Субтитры

• Запишите субтитры в экспортированное видео, чтобы они появились в конечном файле

Что я ищу

• Правильный подход FFmpeg для:
  
  последовательного объединения нескольких клипов
• параллельного композитинга (разделенный экран)

[*]Распространенные ошибки, из-за которых FFmpeg автоматически экспортирует только один входной файл

[*]Рекомендации по обработке клипов со смешанным FPS/разрешением во время экспорта



Чего я не ищу

• Решения для предварительного просмотра
• Подходы на основе iframe/embed
  />
• Исправления на уровне пользовательского интерфейса

Ключевой вопрос
Какова правильная стратегия FFmpeg, обеспечивающая следующее:

• все входные видео включены в экспорт (а не только первое)
• Макеты с несколькими входами (разделенный экран) отображаются правильно
• Вывод экспорта соответствует поведению предварительного просмотра?

Подробнее здесь: https://stackoverflow.com/questions/798 ... s-multiple