Невозможно запустить thirft-сервер из-за класса org.apache.hadoop.yarn.server.webproxy.amfilter.AmIpFilter не является j ⇐ JAVA

[Anonymous]

При запуске искрового сервера с использованием

• java 1.8,
• spark-3.5.0-bin -hadoop3 и
• hadoop-3.3.6...

spark-submit, показывающий, что задание отправлено, запущен и успешно завершен в течение нескольких секунд, однако появляется ошибка, как показано ниже -
ERROR SparkContext: Error initializing SparkContext.
MultiException[java.lang.IllegalStateException: class org.apache.hadoop.yarn.server.webproxy.amfilter.AmIpFilter is not a javax.servlet.Filter, java.lang.IllegalStateException: class org.apache.hadoop.yarn.server.webproxy.amfilter.AmIpFilter is not a javax.servlet.Filter]

Suppressed: java.lang.IllegalStateException: class org.apache.hadoop.yarn.server.webproxy.amfilter.AmIpFilter is not a javax.servlet.Filter

[CIRCULAR REFERENCE:java.lang.IllegalStateException: class org.apache.hadoop.yarn.server.webproxy.amfilter.AmIpFilter is not a javax.servlet.Filter]

При проверке jar Hadoop-yarn-server-web-proxy обнаружено, что Hadoop-yarn-server-web-proxy-3.3.6.jar присутствует как в Hadoop, так и в Spark. оба ->
$ jar -tf $SPARK_HOME/jars/hadoop-yarn-server-web-proxy-3.3.6.jar | grep AmIpFilter
Picked up _JAVA_OPTIONS: -Djava.io.tmpdir=/opt/disk1/tmp
org/apache/hadoop/yarn/server/webproxy/amfilter/AmIpFilter.class

$ jar -tf $HADOOP_HOME/share/hadoop/yarn/hadoop-yarn-server-web-proxy-3.3.6.jar | grep AmIpFilter
Picked up _JAVA_OPTIONS: -Djava.io.tmpdir=/opt/disk1/tmp
org/apache/hadoop/yarn/server/webproxy/amfilter/AmIpFilter.class

$ echo $HADOOP_CONF_DIR && echo $SPARK_HOME && echo $HADOOP_HOME
.../hadoop-3.3.6/etc/hadoop
.../spark-3.5.0-bin-hadoop3
.../hadoop-3.3.6


Подробнее здесь: https://stackoverflow.com/questions/792 ... er-webprox