Конфликт зависимостей Apache Spark и Spring Boot ⇐ JAVA

[Anonymous]

Итак, я создаю полнофункциональное приложение для тестирования торговых стратегий и в настоящее время подумываю об использовании Spring Boot в качестве сервера и Apache Spark для обработки данных.
Я попробовал создать Spring Boot и Apache Spark в одном проекте, но безуспешно, мне не удалось разрешить конфликт зависимостей, я получаю сообщение об ошибке:

Код: Выделить всё

Exception in thread "main" java.lang.NoClassDefFoundError: javax/servlet/Servlet
at org.apache.spark.ui.SparkUI$.create(SparkUI.scala:223)
at org.apache.spark.SparkContext.(SparkContext.scala:484)
at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2704)
at org.apache.spark.sql.SparkSession$Builder.$anonfun$getOrCreate$2(SparkSession.scala:953)
at scala.Option.getOrElse(Option.scala:201)
at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:947)
at com.samurai.lab.marketdata.MarketDataApplication.main(MarketDataApplication.java:12)
Caused by: java.lang.ClassNotFoundException: javax.servlet.Servlet
at java.base/jdk.internal.loader.BuiltinClassLoader.loadClass(BuiltinClassLoader.java:641)
at java.base/jdk.internal.loader.ClassLoaders$AppClassLoader.loadClass(ClassLoaders.java:188)
at java.base/java.lang.ClassLoader.loadClass(ClassLoader.java:520)
...  7 more

Если я добавлю зависимость Hadoop, я получу другую ошибку:

Код: Выделить всё

Exception in thread "main" javax.servlet.UnavailableException: Servlet class org.glassfish.jersey.servlet.ServletContainer is not a javax.servlet.Servlet
at org.sparkproject.jetty.servlet.ServletHolder.checkServletType(ServletHolder.java:514)
at org.sparkproject.jetty.servlet.ServletHolder.doStart(ServletHolder.java:386)
at org.sparkproject.jetty.util.component.AbstractLifeCycle.start(AbstractLifeCycle.java:73)
at org.sparkproject.jetty.servlet.ServletHandler.lambda$initialize$0(ServletHandler.java:749)
at java.base/java.util.stream.SortedOps$SizedRefSortingSink.end(SortedOps.java:357)
at java.base/java.util.stream.AbstractPipeline.copyInto(AbstractPipeline.java:510)
at java.base/java.util.stream.AbstractPipeline.wrapAndCopyInto(AbstractPipeline.java:499)
at java.base/java.util.stream.StreamSpliterators$WrappingSpliterator.forEachRemaining(StreamSpliterators.java:310)
at java.base/java.util.stream.Streams$ConcatSpliterator.forEachRemaining(Streams.java:735)
at java.base/java.util.stream.ReferencePipeline$Head.forEach(ReferencePipeline.java:762)
at org.sparkproject.jetty.servlet.ServletHandler.initialize(ServletHandler.java:774)
at org.sparkproject.jetty.servlet.ServletContextHandler.startContext(ServletContextHandler.java:379)
at org.sparkproject.jetty.server.handler.ContextHandler.doStart(ContextHandler.java:916)
at org.sparkproject.jetty.servlet.ServletContextHandler.doStart(ServletContextHandler.java:288)
at org.sparkproject.jetty.util.component.AbstractLifeCycle.start(AbstractLifeCycle.java:73)
at org.apache.spark.ui.ServerInfo.addHandler(JettyUtils.scala:491)
at org.apache.spark.ui.SparkUI.$anonfun$attachAllHandler$2(SparkUI.scala:76)
at org.apache.spark.ui.SparkUI.$anonfun$attachAllHandler$2$adapted(SparkUI.scala:76)
at scala.collection.IterableOnceOps.foreach(IterableOnce.scala:563)
at scala.collection.IterableOnceOps.foreach$(IterableOnce.scala:561)
at scala.collection.AbstractIterable.foreach(Iterable.scala:926)
at org.apache.spark.ui.SparkUI.$anonfun$attachAllHandler$1(SparkUI.scala:76)
at org.apache.spark.ui.SparkUI.$anonfun$attachAllHandler$1$adapted(SparkUI.scala:74)
at scala.Option.foreach(Option.scala:437)
at org.apache.spark.ui.SparkUI.attachAllHandler(SparkUI.scala:74)
at org.apache.spark.SparkContext.$anonfun$new$31(SparkContext.scala:648)
at org.apache.spark.SparkContext.$anonfun$new$31$adapted(SparkContext.scala:648)
at scala.Option.foreach(Option.scala:437)
at org.apache.spark.SparkContext.(SparkContext.scala:648)
at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2704)
at org.apache.spark.sql.SparkSession$Builder.$anonfun$getOrCreate$2(SparkSession.scala:953)
at scala.Option.getOrElse(Option.scala:201)
at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:947)
at com.samurai.lab.marketdata.MarketDataApplication.main(MarketDataApplication.java:12)

Process finished with exit code 1

Я связал исключение сервлета из искры следующим образом:

Код: Выделить всё

            

javax.servlet
javax.servlet-api


org.glassfish
javax.servlet


org.eclipse.jetty.orbit
javax.servlet

Не помогает
Это чистый файл pom.xml, который я сейчас использую:

Код: Выделить всё

4.0.0

org.springframework.boot
spring-boot-starter-parent
3.0.2
  

com.samurai.lab
market-data
0.0.1-SNAPSHOT
market-data
Demo project for Spring Boot

UTF-8
UTF-8
17
3.3.1
3.3.2




org.springframework.boot
spring-boot-starter-web


log4j
*


org.slf4j
*


org.apache.logging.log4j
*





org.springframework.boot
spring-boot-starter-test
test



org.apache.spark
spark-core_2.13
${apache-spark.version}



org.apache.spark
spark-sql_2.13
${apache-spark.version}






org.springframework.boot
spring-boot-maven-plugin

Есть идеи, как заставить это работать и разрешить конфликт?
Обновление v1
У меня есть зависимость как часть искрового ядра:



Подробнее здесь: https://stackoverflow.com/questions/753 ... pring-boot