YARN REST API – отправить простое заданиеJAVA

Программисты JAVA общаются здесь
Ответить
Anonymous
 YARN REST API – отправить простое задание

Сообщение Anonymous »

Мне нужна помощь с заполнением тела http-запроса.
Я выполняю http-запрос PUT и знаю, что делаю это правильно (в Java).

Я хочу запустить простой пример задания сокращения карты — вычислить PI…
Когда я использую команду:

“hadoop jar /usr/hdp/ 2.2.0.0-2041/hadoop-mapreduce/hadoop-mapreduce-examples-2.6.0.2.2.0.0-2041.jar pi 10 10”

В терминале hortonworks это работает, я пытаюсь создать и запустить задание, которое делает то же самое.

Я думаю, проблема в теле запроса (в файле run_mapreducer_M2.txt).
Я пытаюсь использовать if с API YARN REST.

Чего мне не хватает? Есть ли у кого-нибудь пример использования простого задания MR?

Спасибо!
Вот XML-файл, который я использую для тела запроса:

Код: Выделить всё

application_1421661392788_0005
pi2
testqueue
3



CLASSPATH
/usr/hdp/2.2.0.0-2041/hadoop/conf<CPS>/usr/hdp/2.2.0.0-2041/hadoop/lib/*<CPS>/usr/hdp/2.2.0.0-2041/hadoop/.//*<CPS>/usr/hdp/2.2.0.0-2041/hadoop-hdfs/./<CPS>/usr/hdp/2.2.0.0-2041/hadoop-hdfs/lib/*<CPS>/usr/hdp/2.2.0.0-2041/hadoop-hdfs/.//*<CPS>/usr/hdp/2.2.0.0-2041/hadoop-yarn/lib/*<CPS>/usr/hdp/2.2.0.0-2041/hadoop-yarn/.//*<CPS>/usr/hdp/2.2.0.0-2041/hadoop-mapreduce/lib/*<CPS>/usr/hdp/2.2.0.0-2041/hadoop-mapreduce/.//*<CPS><CPS>/usr/share/java/mysql-connector-java-5.1.17.jar<CPS>/usr/share/java/mysql-connector-java.jar<CPS>/usr/hdp/current/hadoop-mapreduce-client/*<CPS>/usr/hdp/current/tez-client/*<CPS>/usr/hdp/current/tez-client/lib/*<CPS>/etc/tez/conf/<CPS>/usr/hdp/2.2.0.0-2041/tez/*<CPS>/usr/hdp/2.2.0.0-2041/tez/lib/*<CPS>/etc/tez/conf



hadoop jar /usr/hdp/2.2.0.0-2041/hadoop-mapreduce/hadoop-mapreduce-examples-2.6.0.2.2.0.0-2041.jar pi 10 10


false
2

1024
1

MAPREDUCE
false

Michael
PI example




Подробнее здесь: https://stackoverflow.com/questions/280 ... simple-job
Ответить

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

Вернуться в «JAVA»