Как динамически оценить максимальное количество камер, которые мой графический процессор может обработать для вывода YOL ⇐ Python

[Anonymous]

Я пытаюсь имитировать потоки с нескольких камер, подаваемые в модель YOLOv8l на одном графическом процессоре, и отслеживать загрузку оборудования в реальном времени. Моя настройка:

• Один графический процессор (48 ГБ видеопамяти, поддержка CUDA)
• Модель YOLOv8l
• Имитация камер N с одинаковым входным видео
• Целевой FPS для каждой камеры: 25
• Используется пакетный вывод

Я хочу оценить в реальном времени, сколько камер может обработать графический процессор без максимальной загрузки. Я реализовал:

• Многопоточное считывание камер для каждой моделируемой камеры
• Очередь кадров
• Обработчик пакетного вывода
• Мониторинг графического процессора с помощью pynvml
• Адаптивный пропуск кадров в зависимости от загрузки графического процессора

Код: Выделить всё

avg_gpu_per_cam = gpu_ema / NUM_CAMERAS
estimated_total = int(SAFE_GPU_LIMIT / avg_gpu_per_cam)

Проблемы/вопросы:

• Разумен ли этот метод оценки мощности камеры на основе среднего использования графического процессора на камеру?
• Существуют ли лучшие стратегии для динамического управления FPS или пропуска кадров во избежание перегрузки графического процессора?
• Как я могу протестировать пакетный вывод YOLOv8l, чтобы получить более точные avg_gpu_per_cam вместо использования сглаживания EMA?

Я был бы признателен за рекомендации по лучшим методам оценки нагрузки при многокамерном выводе, а также любые ссылки или примеры для моделирования камеры с поддержкой графического процессора с помощью YOLO модели.

Подробнее здесь: https://stackoverflow.com/questions/798 ... e-for-yolo