Отслеживание аватара SMPL-X с помощью медиапайпа Holistic в Unity ⇐ C#

[Anonymous]

Я пытаюсь применить отслеживание рук к аватару smpl-x с помощью целостного медиапайпа, я основан на этом проекте https://github.com/homuler/MediaPipeUnityPlugin

Я реализую обнаружение правой руки, и мне удается извлечь ориентиры из OutputEventArgs eventArgs, расположенного в HolisticTrackingSolution. И я это понимаю

[ { {"x": 0.394239277, "y": 0.5861167, "z": 4.6727007E-07 }, { "x": 0.447378844, "y": 0.59169513, "z": -0.0270992424 },..... Поэтому я обрабатываю их и могу назначить каждую координату аватару SMPL-X

0.447378844 0.59169513 0.0270992424.... В настоящее время у mediapipe 21 точка, а у SMPL-X — 15, поэтому я не учитываю точки 4,8,12,16 и 20.





Наконец, я присваиваю координаты аватару, но не получаю нужного результата, то есть возможности воспроизвести мою руку.

Думаю, проблема возникает с глубиной точек, которая напрямую не определяется ориентиром руки.

Было бы очень полезно, если бы вы могли решить проблему глубины или выполнить дополнительную обработку полученных координат. Также, если кто-то уже реализовал в каком-то проекте отслеживание аватара с помощью mediapipe, это будет очень полезно.





Я ожидаю, что аватар SMPL-X сможет воспроизвести движение моих рук при той же глубине экрана.