Я создаю приложение, которое использует модель tf-lite под названием MoveNet, которая распознает 17 ключевых точек тела, а также мою собственную модель tf-lite поверх нее (назовем ее PoseClassifier) для классификации поз на основе данных. вернулся из MoveNet.
Мне нужна помощь в принятии решения, следует ли мне запускать модели tf-lite во внешнем или внутреннем интерфейсе. Я объясню варианты ниже.
Запускайте все на внешнем интерфейсе. Используйте плагин tf-lite от Flutter для запуска
MoveNet и PoseClassifier непосредственно на устройстве. Это позволит
мгновенно реагировать на пользовательский интерфейс, чтобы пользователь знал, когда он
принимает и выходит из определенной позы, не полагаясь на
проблемы с задержкой/подключением в сети
Гибридный подход. Запустите MoveNet на внешнем интерфейсе, чтобы получить
данные ключевой точки, и отправьте эту информацию в модель PoseClassifier на
внутреннем интерфейсе, используя любой из этих дополнительных параметров
2А. Конфликтно отправлять и получать данные из небольшого количества
кадров с камеры пользователя (пока они не закончат поток). Задержка
будет небольшой, поскольку PoseClassifier должен запустить
и затем вернуть данные, но она будет очень близка к
обратной связи в реальном времени
2Б. Обработайте все видео одновременно на внешнем интерфейсе через MoveNet
(после того, как пользователь завершит поток) и отправьте эти данные на серверную часть
для обработки через PoseClassifier. Это не будет происходить в режиме реального времени,
так как вы не получите результатов, пока видео не закончится.
Запустите все на бэкэнд. Отправьте необработанные видеоданные на
серверную часть, где MoveNet и PoseClassifier обработают их и вернут
результаты. На первый взгляд, мне не нравится этот вариант, поскольку я
предполагаю, что попытка отправить большое видео на сервер займет некоторое
время.
Я предпочитаю обратную связь в режиме реального времени, но если кто-то здесь, более опытный, чем я, знает, что это неправдоподобно, дайте мне знать и дайте совет / решения.
Я создаю приложение, которое использует модель tf-lite под названием MoveNet, которая распознает 17 ключевых точек тела, а также мою собственную модель tf-lite поверх нее (назовем ее PoseClassifier) для классификации поз на основе данных. вернулся из MoveNet. Мне нужна помощь в принятии решения, следует ли мне запускать модели tf-lite во внешнем или внутреннем интерфейсе. Я объясню варианты ниже. [list] [*]Запускайте все на внешнем интерфейсе. Используйте плагин tf-lite от Flutter для запуска MoveNet и PoseClassifier непосредственно на устройстве. Это позволит мгновенно реагировать на пользовательский интерфейс, чтобы пользователь знал, когда он принимает и выходит из определенной позы, не полагаясь на проблемы с задержкой/подключением в сети [*]Гибридный подход. Запустите MoveNet на внешнем интерфейсе, чтобы получить данные ключевой точки, и отправьте эту информацию в модель PoseClassifier на внутреннем интерфейсе, используя любой из этих дополнительных параметров 2А. Конфликтно отправлять и получать данные из небольшого количества кадров с камеры пользователя (пока они не закончат поток). Задержка будет небольшой, поскольку PoseClassifier должен запустить и затем вернуть данные, но она будет очень близка к обратной связи в реальном времени 2Б. Обработайте все видео одновременно на внешнем интерфейсе через MoveNet (после того, как пользователь завершит поток) и отправьте эти данные на серверную часть для обработки через PoseClassifier. Это не будет происходить в режиме реального времени, так как вы не получите результатов, пока видео не закончится.
[*]Запустите все на бэкэнд. Отправьте необработанные видеоданные на серверную часть, где MoveNet и PoseClassifier обработают их и вернут результаты. На первый взгляд, мне не нравится этот вариант, поскольку я предполагаю, что попытка отправить большое видео на сервер займет некоторое время.
[/list] Я предпочитаю обратную связь в режиме реального времени, но если кто-то здесь, более опытный, чем я, знает, что это неправдоподобно, дайте мне знать и дайте совет / решения.