Запуск искрового снаряда прошел успешно на одной машине, но не удалось на другой машине ⇐ JAVA

[Anonymous]

И машина, и искровой кластер находятся в одной локальной сети.
Одна из моих машин 0.0.0.99 уже подключена к искровому кластеру.
Поскольку это необходимо для бизнеса, нам приходится использовать другую машина 0.0.0.212 для подключения к искровому кластеру, на обеих машинах установлено одинаковое программное обеспечение (одна и та же версия Hadoop, Yarn, Spark и Scala), единственная разница - это настройка и конфигурация.
Я скопировал настройки

Код: Выделить всё

/etc/hosts

(запись spark01:ip1,spark02:ip2 ... и т. д., которая представляет собой информацию о сопоставлении имени каждого компьютера и их IP-адреса в искровом кластере.), и /etc/profile(запись JAVA_HOME , SPARK, HADOOP, YARNs, среда var) на другую машину 0.0.0.212; также скопировали файлы Yarn-site.xml и spark-defaults.conf соответственно.
Я запускаю команду spark-shell на этой новой машине: которая останавливается с ошибкой:

Код: Выделить всё

Invalid Spark URL: spark://YarnScheduler@tencent_r:40707

(tencent_r — мое имя хоста)


Я погуглил и обнаружил, что кто-то говорит, что имя хоста не может включать подчеркивание (что может и не быть проблемой, поскольку старая машина 99 также имеет имя хоста с подчеркиванием: VM_99). Но я все равно изменил имя хоста на tencentR. И снова запустите искровую оболочку, которая остановится и вернется с другой ошибкой:

Код: Выделить всё

JAVA.io.IOException:Failed to connect to tencentr:43372

Моя искра версия — 2.4.7
Моя версия Scala — 2.11.12
Я запускаю Spark в режиме пряжи.
И Hadoop и Yarn работают правильно (доказано, если Я запускаю версию Hadoop, версию Yarn, обе возвращают правильную информацию.)
Если кому-то понадобится версия Hadoop и Yarn, я напишу здесь, но я так не думаю. это связано.
К вашему сведению, искра работала на старой машине 0.0.0.99 уже много лет и никаких проблем с подключением не было. Поэтому я думаю, что версия программного обеспечения и т. д. в порядке, но мои настройки могут быть нет.
Любая помощь или предложение приветствуются.

Подробнее здесь: https://stackoverflow.com/questions/785 ... er-machine