Задание Hadoop зависает на этапе ПРИНЯТО, с журналом менеджера ресурсов пряжи java.net.UnknownHostException ⇐ JAVA

[Anonymous]

Как описано в заголовке, я развернул кластер Hadoop v2.6.3 во внутренней сети со статическим IP-адресом, например 10.0.0.x.
Затем я запустил пример программы WordCount. Однако оболочка просто выдает выводит и зависает:

Код: Выделить всё

hadoop jar wc.jar WordCount /user/alex/data/kaggle.sample /user/alex/wc/output
16/04/06 10:44:29 INFO client.RMProxy: Connecting to ResourceManager at master/10.0.0.7:8032
16/04/06 10:44:29 WARN mapreduce.JobResourceUploader: Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this.
16/04/06 10:44:30 INFO input.FileInputFormat: Total input paths to process : 1
16/04/06 10:44:30 INFO mapreduce.JobSubmitter: number of splits:1
16/04/06 10:44:30 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1459942813464_0002
16/04/06 10:44:30 INFO impl.YarnClientImpl: Submitted application application_1459942813464_0002
16/04/06 10:44:30 INFO mapreduce.Job: The url to track the job: http://master:8088/proxy/application_1459942813464_0002/
16/04/06 10:44:30 INFO mapreduce.Job: Running job: job_1459942813464_0002

Затем я захожу в веб-интерфейс Hadoop Cluster и обнаруживаю, что статус задания — ПРИНЯТО, а не выполняется. Я проверил файл журнала YARN.ResourceManager, и его последнее сообщение об ОШИБКЕ выглядит следующим образом:

Код: Выделить всё

2016-04-06 10:34:42,466 ERROR org.apache.hadoop.yarn.server.resourcemanager.scheduler.SchedulerApplicationAttempt: Error trying to assign container token and NM token to an allocated container container_1459942813464_0001_02_000001
java.lang.IllegalArgumentException: java.net.UnknownHostException: worker14.alex
at org.apache.hadoop.security.SecurityUtil.buildTokenService(SecurityUtil.java:374)
at org.apache.hadoop.yarn.server.utils.BuilderUtils.newContainerToken(BuilderUtils.java:256)
at org.apache.hadoop.yarn.server.resourcemanager.security.RMContainerTokenSecretManager.createContainerToken(RMContainerTokenSecretManager.java:220)
at org.apache.hadoop.yarn.server.resourcemanager.scheduler.SchedulerApplicationAttempt.pullNewlyAllocatedContainersAndNMTokens(SchedulerApplicationAttempt.java:448)
at org.apache.hadoop.yarn.server.resourcemanager.scheduler.common.fica.FiCaSchedulerApp.getAllocation(FiCaSchedulerApp.java:269)
at org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler.allocate(CapacityScheduler.java:896)
at org.apache.hadoop.yarn.server.resourcemanager.rmapp.attempt.RMAppAttemptImpl$AMContainerAllocatedTransition.transition(RMAppAttemptImpl.java:937)
at org.apache.hadoop.yarn.server.resourcemanager.rmapp.attempt.RMAppAttemptImpl$AMContainerAllocatedTransition.transition(RMAppAttemptImpl.java:930)
at org.apache.hadoop.yarn.state.StateMachineFactory$MultipleInternalArc.doTransition(StateMachineFactory.java:385)
at org.apache.hadoop.yarn.state.StateMachineFactory.doTransition(StateMachineFactory.java:302)
at org.apache.hadoop.yarn.state.StateMachineFactory.access$300(StateMachineFactory.java:46)
at org.apache.hadoop.yarn.state.StateMachineFactory$InternalStateMachine.doTransition(StateMachineFactory.java:448)
at org.apache.hadoop.yarn.server.resourcemanager.rmapp.attempt.RMAppAttemptImpl.handle(RMAppAttemptImpl.java:755)
at org.apache.hadoop.yarn.server.resourcemanager.rmapp.attempt.RMAppAttemptImpl.handle(RMAppAttemptImpl.java:106)
at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager$ApplicationAttemptEventDispatcher.handle(ResourceManager.java:842)
at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager$ApplicationAttemptEventDispatcher.handle(ResourceManager.java:823)
at org.apache.hadoop.yarn.event.AsyncDispatcher.dispatch(AsyncDispatcher.java:182)
at org.apache.hadoop.yarn.event.AsyncDispatcher$1.run(AsyncDispatcher.java:109)
at java.lang.Thread.run(Thread.java:745)
Caused by: java.net.UnknownHostException: worker14.alex
...  19 more

Файл конфигурации Hadoop выглядит следующим образом:

Код: Выделить всё

#core-site.xml


fs.defaultFS
hdfs://master:8020/


hadoop.tmp.dir
/home/alex/hadoop-2.6.3/tmp/


#yarn-site.xml


yarn.resourcemanager.hostname
master


yarn.nodemanager.local-dirs
/home/alex/hadoop-2.6.3/tmp/nm.local


yarn.nodemanager.log-dirs
/home/alex/hadoop-2.6.3/log/nm.log


yarn.nodemanager.aux-services
mapreduce_shuffle


#mapred-site.xml


mapreduce.framework.name
yarn


mapreduce.jobhistory.address
10.0.0.7:10020


yarn.app.mapreduce.am.staging-dir
/home/alex/hadoop-2.6.3/tmp/staging


mapreduce.jobhistory.intermediate-done-dir
/home/alex/hadoop-2.6.3/tmp/mr-history/tmp


mapreduce.jobhistory.done-dir
/home/alex/hadoop-2.6.3/tmp/mr-history/done

Код: Выделить всё

/etc/hostsВ файле 

есть IP-адреса сопоставления с мастером или работником1 - работник14

Код: Выделить всё

slaves

файл master, worker1 - worker14

Похоже, что мое разрешение имени хоста идет неправильно. Это worker14.alex, а не worker14 (

Код: Выделить всё

alex

— мое имя пользователя Linux)

Так что же не так с моей конфигурацией? Нужно ли мне перезапускать все серверы? Или мне просто нужно перезапустить некоторые службы, например перезапустить сеть службы?

Подробнее здесь: https://stackoverflow.com/questions/364 ... nknownhost