Hadoop не может выполнить операцию MapReduce, поскольку зависает в ожидании выделения контейнера AM. ⇐ Linux

[Anonymous]

Я использовал руководство своего учителя для установки и настройки Hadoop (я использую его впервые). В нем говорится, что это для Ubuntu, но так и должно быть для всех дистрибутивов Linux, поскольку он просто компилирует Hadoop из исходного кода. Поскольку я использую Arch, мне пришлось изменить каталог Java с JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 на JAVA_HOME=/usr/lib/jvm/java-8- openjdk, и я использую версию 3.4.0 вместо 3.3.4, но это все.
Я запускаю Hadoop локально на своем ноутбуке, и JPS, кажется, работает работает нормально:

Код: Выделить всё

75761 ResourceManager
75392 SecondaryNameNode
75140 NameNode
75239 DataNode
75990 NodeManager
76270 Jps

Но при запуске этой команды (скрипты MapReduce можно найти здесь):

Код: Выделить всё

hadoop jar /home/alberto/Descargas/hadoop/share/hadoop/tools/lib/hadoop-streaming-3.4.0.jar     -files /home/alberto/wordcountPython/mapperWordCount.py,/home/alberto/wordcountPython/reducerWordCount.py     -mapper /home/alberto/wordcountPython/mapperWordCount.py     -reducer /home/alberto/wordcountPython/reducerWordCount.py     -input file:///home/alberto/wordcountPython/prueba.txt     -output salida

вот что я получаю:

Код: Выделить всё

packageJobJar: [/tmp/hadoop-unjar4569006665159328959/] [] /tmp/streamjob5667140313735930625.jar tmpDir=null
2024-06-26 14:11:36,551 INFO client.DefaultNoHARMFailoverProxyProvider: Connecting to ResourceManager at /0.0.0.0:8032
2024-06-26 14:11:36,656 INFO client.DefaultNoHARMFailoverProxyProvider: Connecting to ResourceManager at /0.0.0.0:8032
2024-06-26 14:11:36,891 INFO mapreduce.JobResourceUploader: Disabling Erasure Coding for path: /tmp/hadoop-yarn/staging/alberto/.staging/job_1719403741005_0002
2024-06-26 14:11:37,643 INFO mapred.FileInputFormat: Total input files to process : 1
2024-06-26 14:11:38,138 INFO mapreduce.JobSubmitter: number of splits:2
2024-06-26 14:11:38,246 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1719403741005_0002
2024-06-26 14:11:38,247 INFO mapreduce.JobSubmitter: Executing with tokens: []
2024-06-26 14:11:38,365 INFO conf.Configuration: resource-types.xml not found
2024-06-26 14:11:38,365 INFO resource.ResourceUtils: Unable to find 'resource-types.xml'.
2024-06-26 14:11:38,737 INFO impl.YarnClientImpl: Submitted application application_1719403741005_0002
2024-06-26 14:11:38,781 INFO mapreduce.Job: The url to track the job: http://archlinux:8088/proxy/application_1719403741005_0002/
2024-06-26 14:11:38,782 INFO mapreduce.Job: Running job: job_1719403741005_0002

А если я перейду по URL-адресу приложения (

Код: Выделить всё

http://archlinux:8088/proxy/application_1719403741005_0002/

) Я вижу это:

• YarnApplicationState: ПРИНЯТО: ожидание выделения, запуска и регистрации AM-контейнера. с РМ.
• Диагностика: [mié jun 26 14:11:38 +0200 2024] Приложение добавлено в планировщик и еще не активировано. Пропуск назначения AM, поскольку ресурс кластера пуст. Подробности: Раздел AM = ; Запрос ресурса AM = ; Ограничение ресурсов очереди для AM = ; Пользовательский лимит ресурсов AM очереди = ; Использование ресурсов очереди AM = ;

Снимок экрана здесь для получения дополнительной информации
Я не знаю, что сделать, чтобы все заработало.

Подробнее здесь: https://stackoverflow.com/questions/786 ... ing-for-am