Как использовать Apache Ignite с Apache Spark в приложении Scala [закрыто] ⇐ JAVA

[Anonymous]

Я новичок в Apache Ignite и Apache Spark. Мне нужно создать веб-приложение, которое создает различные tempViews искры на основе параметров, предоставленных конечными точками REST, и сохраняет tempViews в Ignite RDD. Я использую Spark для обработки нашего огромного набора данных и запускаю RDD для сохранения и обмена обработанными данными. Может ли кто-нибудь сказать мне, возможно ли это и как правильно реализовать такое решение.
Я создал веб-приложение Scala и использовал ignite и spark с ignite-spark-ext :3.0.0, чтобы соединить контекст искры с контекстом зажигания. Затем я отправил банку на искру с помощью искровой подачи. Это работает, и я могу подключиться к веб-приложению, используя конечные точки API. Но это неправильно. Интересно, можно ли разделить все эти компоненты вместо того, чтобы привязывать все к одному jar и отправлять в Spark.
Вот как я сейчас запускаю свое веб-приложение:
spark-submit --class SimpleServer --master spark://1.2.3.4:7077 "scala-2.12\ignite-spark-integration-assembly-0.1.0-SNAPSHOT.jar"

Подробнее здесь: https://stackoverflow.com/questions/786 ... pplication