Какова наиболее надежная модель и набор данных определения активности лиц для реальных мобильных приложений? ⇐ Android

[Anonymous]

Я работаю над обнаружением активности лиц (анти-спуфинг), предназначенным для реальных мобильных приложений (Flutter), и изо всех сил пытаюсь добиться надежной производительности за пределами контролируемых наборов данных.
Чего я пытаюсь достичь

• Готовая модель живости лица, которая работает на:
  
  воспроизведение экрана телефона
• распечатанные фотографии
• различные условия освещения
• различные оттенки кожи и устройства

[*]Модель должна быть пригодна для использования в мобильные приложения (предпочтительно ONNX или TFLite для Flutter)

[*]Фокус делается на реальной точности, а не на результатах тестов



Что я пробовал

• Обучение моделей жизнеспособности RGB на основе CNN (варианты MobileNet)
• Использование смешанных наборов данных (реальных и поддельных):
  
  изображения, воспроизводимые с телефона
• атаки с использованием печатных фотографий
• изображения, собранные пользователем

[*]Точная настройка предварительно обученных моделей

[*]Применение стандартной предварительной обработки:

• распознавание лиц + кадрирование
• нормализация

[*]Запись прогнозов для каждого изображения для анализа ложных срабатываний.


Несмотря на это:

• Поддельные изображения (особенно повторы с телефона) часто классифицируются как ЖИВЫЕ
• Модели хорошо работают на проверочных наборах, но не работают при реальном использовании
• Повышение порогов достоверности помогает лишь частично

Ограничения

• Нет камеры глубины/ИК-датчика (только RGB)
• Необходимо работать на пользовательском Android устройств
• Задержка и размер модели имеют значение
• Предпочитаю решения, которые можно реально развернуть в производстве

Что я ищу

• Рекомендуется наборы данных, которые хорошо обобщаются для реальных поддельных атак.
• Стратегии обучения, которые действительно повышают надежность (а не только точность тестов)
• Является ли Жизнеспособность только RGB фундаментально ограниченной для промышленного использования
• Предложения по лучшие подходы (например, основанные на движении, метод «запрос-ответ», гибридные методы)
• Любые проверенные на практике модели или форматы, подходящие для мобильных устройств (ONNX / TFLite)

Пояснения
Мне не нужна точность на демонстрационном уровне или академические результаты.

Мне нужно что-то, что надежно работает в реальных условиях пользователя.
Любые рекомендации от людей, которые внедрили определение активности в производственной среде, будут очень полезны.

Подробнее здесь: https://stackoverflow.com/questions/798 ... r-real-wor