Как интегрировать модель обнаружения объектов с дополненной реальностью (AR) в Android? ⇐ Android

[Anonymous]

Я работаю над приложением для Android, в котором хочу интегрировать модель обнаружения объектов с дополненной реальностью (AR). Моя текущая настройка работает нормально с обычной реализацией CameraX. Однако я изо всех сил пытаюсь адаптировать его к AR.
Вот что у меня есть:

Код: Выделить всё

•   Object Detection Model: A TensorFlow Lite (TFLite) model that provides bounding box values for each input frame (in pixel coordinates).
•   Output: The bounding box coordinates (top, bottom, left, right) and a confidence score for detected objects in the camera frame.

Проблема:
Поскольку выходные данные модели основаны на кадрах (2D), я не могу отобразить границы коробки с реальными координатами в AR. Мне нужно, чтобы ограничивающие рамки отображались правильно в AR-сцене и совпадали с обнаруженными объектами в реальном мире.
Что я пробовал:

Код: Выделить всё

•   Displaying bounding boxes on a CameraX preview — works perfectly.
•   Using Sceneform and ARCore to overlay 3D objects, but I can’t figure out how to map the bounding box from the model to AR coordinates.

Мои вопросы:

Код: Выделить всё

1.  How can I map the 2D bounding box (frame coordinates) to 3D world coordinates in AR?
2.  Are there any libraries or tools that simplify this process?
3.  Should I use anchors or some other ARCore functionality to achieve this?

Дополнительная информация:

Код: Выделить всё

•   Tools: ARCore, TensorFlow Lite, CameraX
•   Goal: To accurately display the detected object’s bounding boxes in the AR world, so they appear at the correct position relative to the real-world object.

Будем очень признательны за любые рекомендации, фрагменты кода или примеры!

Подробнее здесь: https://stackoverflow.com/questions/793 ... in-android