Потоковое видео с низкой задержкой (50 мс) с помощью NODE.JS и html5 ⇐ Html

[Anonymous]

ЦЕЛЬ:
Я создаю робота FPV и хочу управлять им с помощью веб-браузера через локальное соединение Wi-Fi.

Я использую Raspberry Pi 3B+ с Raspbian Stretch. Я построил свой собственный контроллер двигателя и регулятор мощности.

После долгих исследований и испытаний я решил использовать node.JS в качестве http-сервера и сокет.io, чтобы обеспечить двустороннюю связь с моим роботом с малой задержкой. Этот стек обеспечивает задержку около 7 мс.

Изображение робота
ПРОБЛЕМА:
Мне нужно передать в браузер видео с низкой задержкой с USB-камеры, подключенной к RPI. Моя цель — достичь разрешения не ниже 640x480 при частоте 10 кадров в секунду и задержке 50 мс или лучше. Я рад пожертвовать визуальной четкостью, чтобы получить более быстрый ответ от моего робота.

Если возможно, я хотел бы осуществлять потоковую передачу по UDP, чтобы повысить надежность потока.

Если возможно, я бы хотел транслировать потоковое видео, которое современные веб-браузеры могут декодировать. Я хотел бы использовать кодек H264 и видеотег HTML5. Я могу вернуться к использованию проигрывателя JavaScript, если нет другого варианта.
ЧТО Я ПРОБОВАЛ:
Я провел обширное исследование и попробовал множество инструментов.

Среди прочего я пробовал VLC, mjpg стример, gstreamer и raspivid. Несколько раз я попадал в поток, который мог просматривать веб-браузер, но в лучшем случае задержка составляла 700 мс при разрешении 320x240. Очень-очень далеко от моей цели.

В настоящее время я изучаю решения WebRTC.
ВОПРОС:
Мне хотелось бы получить предложения по пакетам NODE.JS или другим решениям, обеспечивающим видеопоток UDP H264, который можно декодировать с помощью видеотега HTML5 с целевой задержкой 50 мс.

Спасибо
ОБНОВЛЕНИЕ:
Спасибо за ваши ответы! Я буду продолжать обновлять этот вопрос и опубликую решение, как только оно сработает.

УДАЛЕНИЕ ОТДЕЛЬНЫХ КАДРОВ

Я попробовал другой подход, отправив отдельный кадр jpg размером 200 КБ и размером 640x480 через веб-сокет, и получил задержку около 190 мс. Вероятно, я смогу добиться большего, повторно используя объекты, но пока откладываю эту попытку.
ОБНОВЛЕНИЕ2:
Изучая WebRTC, я нашел стек, который выглядел достаточно простым. На стороне сервера он использует V4L2 в качестве драйвера, FFMPEG для перекодирования в HTTP-поток MPEG1 с локальной инкапсуляцией TS, узел js для преобразования потока в веб-сокет. На стороне клиента имеется JavaScript, который декодирует поток MPEG1 TS и рисует объект холста на HTML-странице.

Разрешение 640x480 при 20 кадрах в секунду и задержке 240 мс. Достаточно хорошо для MVP, но я буду продолжать работать, чтобы добиться этого. Код в ответе.