Как сопоставить реальную текстуру лица пользователя с сгенерированной 3D-моделью тела с использованием входных изображен ⇐ Python

[Anonymous]

Я работаю над системой, которая генерирует 3D-модель человека на основе предоставленных пользователем атрибутов, таких как рост, вес, пол и других физических данных. Модель тела успешно создается с использованием методов параметрического моделирования человека.
Однако, когда я предоставляю изображения лица пользователя, сгенерированная модель неточно отражает реальное лицо человека. В лучшем случае он создает общее или нечеткое лицо, а не отображает фактическую личность лица на 3D-сетке.
Моя цель:

• Использовать одно или несколько 2D-изображений лица, предоставленных пользователем.
• Извлечь черты лица/текстуру из этих изображений.
• Правильно выровнять и нанесите лицо на сгенерированную 3D-модель тела.
• Сохраняйте идентичность, чтобы окончательный аватар действительно напоминал пользователя.

Мне нужны рекомендации по:

• Правильному конвейеру для преобразования 2D-изображений лица в пригодное для использования 3D-изображение лица.
• Методы обнаружения ориентиров лица и выравнивания сетки с существующим параметрическим телом (например, SMPL-подобные модели).
• Независимо от того, следует ли решать эту проблему с помощью проекции текстуры, трехмерной реконструкции лица или подходов нейронной визуализации.
• Рекомендуемые библиотеки, платформы или исследовательские статьи, которые обрабатывают модель лица к телу fusion надежно.

Я не ищу решения, связанные с пользовательским интерфейсом; речь идет конкретно о рабочем процессе компьютерного зрения/3D-реконструкции, необходимом для интеграции реального лица в сгенерированную человеческую сетку.

Подробнее здесь: https://stackoverflow.com/questions/798 ... sing-input