Как я могу редактировать видео в реальном времени на Android, используя передовые методы и библиотеки? ⇐ Android

[Anonymous]

Я работаю над проектом, связанным с редактированием видео для Android, и ищу ресурсы и методы для достижения производительности редактирования видео в реальном времени. До сих пор я в основном использовал библиотеку FFmpeg, которая, хотя и многофункциональна, довольно медленна для таких операций, как реверс 10-секундного видео, обработка которого занимает до 30 секунд. Это приводит к ухудшению пользовательского опыта.
Я заметил, что многие приложения для редактирования видео Android (например, InShot и TikTok) выполняют эти задачи практически мгновенно. Несмотря на обширные исследования в Google, GitHub, YouTube и даже на страницах поддержки этих приложений, я не нашел полезных ресурсов, пояснительных документов, библиотек с открытым исходным кодом или демонстрационных приложений для достижения аналогичной производительности.
Вот что я пробовал и что рассматриваю:
Native Development Kit (NDK): использование NDK для написания критически важных для производительности частей моего приложения на языке C или C++ для более быстрой обработки.
Аппаратное ускорение: использование аппаратного ускорения с помощью API MediaCodec для кодирования и декодирования видео быстрее, чем программные решения.
Использование графического процессора: использование графического процессора с API-интерфейсами OpenGL или Vulkan для разгрузки задач обработки. от ЦП.
Сторонние библиотеки: изучение оптимизированных библиотек, таких как ExoPlayer или Sceneform, которые могут более эффективно выполнять сложные задачи редактирования видео.
Оптимизированные алгоритмы: разработка более эффективных алгоритмов для конкретных задач, таких как переворот видео.
Сравнение и профилирование: использование таких инструментов, как Android Profiler, для выявления и оптимизации узких мест в производительности.
Любые советы, ресурсы или дополнительные методы от тех, кто имеет опыт расширенного редактирования видео на Android, будем очень признательны!
Теги:
android
редактирование видео
в реальном времени
производительность
ndk
медиакодек
gpu
ffmpeg
Текст привязки для обратной ссылки:
Для получения дополнительной информации о создании высокопроизводительных приложений для редактирования видео посетите
Что я Пробовал:
Библиотека FFmpeg: использовалась FFmpeg для задач редактирования видео, таких как переворачивание видео.
Исследование Native Development Kit (NDK): изучалось с использованием NDK для разделов, критически важных для производительности.MediaCodec API: исследовано использование MediaCodec для аппаратной обработки видео.
OpenGL/Vulkan: рассмотрено использование ускорения графического процессора с OpenGL или Vulkan.
Сторонние библиотеки: изучены такие библиотеки, как ExoPlayer и Sceneform.
Оптимизация алгоритма: попытка разработать более эффективные алгоритмы для задач редактирования видео.
Сравнительный анализ и профилирование: использовался Android Profiler для выявления узких мест в производительности.
Ожидается:
Ускоренная обработка видео.
Производительность в реальном времени аналогична лучшим приложениям для редактирования видео.
Фактические результаты:
FFmpeg: низкая производительность (например, изменение 10- второе видео заняло 30 секунд).
NDK: ограниченное улучшение без существенной переписывания и оптимизации.
MediaCodec: некоторое улучшение, но все еще не в режиме реального времени для сложных задач.
OpenGL/Vulkan: улучшенная производительность. но требовали значительных знаний и времени на разработку.
Сторонние библиотеки: полезны, но не всегда подходят для конкретных нужд.
Оптимизация алгоритма: несколько улучшена производительность, но недостаточно для работы в режиме реального времени.
Бенчмаркинг : Выявлены узкие места, но их решение потребовало более глубокой стратегии оптимизации.

Подробнее здесь: https://stackoverflow.com/questions/787 ... chniques-a