Запуск модели AI/ML в Node.js без компилятора Python или среды выполнения. ⇐ Python

[Anonymous]

Я работаю над проектом, в котором мне нужно запустить модель AI/ML в среде Node.js, но я не могу полагаться на Python ни в какой форме. Сюда входит:

• Нет среды выполнения Python.
• Нет компилятора Python.
• Нет вызова сценариев Python через child_process.
• Нет образов Docker, включающих Python.
• Нет микросервиса Python на стороне сервера. (это должно оставаться в пределах развертывания на базе Node)

Это ограничение связано с ограничениями развертывания и ограничениями среды в моем проекте (среда выполнения только для Node).
Чего я пытаюсь достичь

• Загрузить и выполнить модель AI/ML (например, логический вывод, обучение)
• Модель может уже существовать (допустимо обучение в другом месте)
• Вывод должен происходить из Node.js
• В идеале поддерживает выполнение ЦП (графический процессор необязателен, но не обязателен)
• Должен быть совместим с производством среды

Что я уже изучил

1. Платформы машинного обучения на основе Python (не разрешены)

Такие платформы, как:

• TensorFlow (Python)
• PyTorch
• scikit-learn

Эти непригодны, поскольку для них требуется Python.

2. Вызов Python из Node.js (не разрешен)

Такие подходы, как:

• Код: Выделить всё

  child_process.spawn("python", ...)

• Микросервисы Flask/FastAPI
• gRPC-мосты к Python

Это явно запрещено в проекте.

3. Библиотеки машинного обучения Node.js (ограниченные/неполные)

Я изучал решения на базе Node, такие как:

• Код: Выделить всё

  @tensorflow/tfjs-node

• Код: Выделить всё

  onnxruntime-node

Проблемы, с которыми я столкнулся:

• Ограниченная поддержка моделей по сравнению с экосистемами Python
• Сложность преобразования существующих моделей
• Проблемы с производительностью
• Несовместимость с определенными архитектурами
• Некоторые библиотеки по-прежнему зависят от собственных привязок, которые сложно развернуть в средах с ограниченными возможностями

4. Подходы к преобразованию моделей (частичный успех)

Я изучил:

• Преобразование моделей в ONNX
• Преобразование моделей в формат TensorFlow.js

Проблемы:

• Преобразование сбои для определенных слоев
• Потеря точности или неподдерживаемые операции
• Дополнительная сложность сборки
• Неясные рекомендации для вывода на рабочем уровне

Ключевые ограничения (важно)

• Python запрещен во время выполнения
• Нет микросервисов Python
• Нет Dockerized среды Python
• Только Node.js
• Допускаются предварительно обученные модели
• Приемлемо использование только вывода

Основные вопросы

• Каковы наиболее известные подходы к выполнению вывода AI/ML исключительно в Node.js без Python?
• Существуют ли зрелые, готовые к использованию методы вывода Node-родные среды выполнения машинного обучения, которые не используют Python ни на каком этапе?
• Является ли ONNX наиболее реалистичным стандартом для этого варианта использования или есть лучшие альтернативы?
• Как команды обычно обрабатывают сложные модели машинного обучения в средах только Node?
• Существуют ли известные архитектурные шаблоны для этого ограничения, которые я, возможно, упускаю из виду?

Подробнее здесь: https://stackoverflow.com/questions/798 ... or-runtime