Отправка задания Flink в RemoteEnvironmentJAVA

Программисты JAVA общаются здесь
Ответить
Anonymous
 Отправка задания Flink в RemoteEnvironment

Сообщение Anonymous »

У меня есть диспетчер задач, диспетчер задач, работающий в Docker. И в отдельной Java-программе/микросервисе1 я создал jar-файл задания flink со всеми зависимостями и conf.yaml. Из другого MicroService2 мне нужно отправить банку диспетчеру заданий и запустить ее. Я использовал что-то похожее на подписку

Код: Выделить всё

 StreamExecutionEnvironment
.createRemoteEnvironment("172.18.0.5", 6123, getConfigurationFromFlinkYaml(),"target/biggis-tiledb-1.0-SNAPSHOT.jar")
.fromElements(1, 2, 3, 4, 5, 6)
.filter(x -> x > 3)
.print();

Из журналов MicroService2 я вижу, что получаю сообщение об ошибке ниже.
"Ошибка при ожидании инициализации задания".
"Ошибка при ожидании инициализации задания".
p>
Из журналов менеджера заданий я получаю сообщение об ошибке ниже

Код: Выделить всё

2024-12-11 18:52:59,588 INFO  org.apache.flink.runtime.executiongraph.ExecutionGraph       [] - Source: XXXXX(1/1) (c006a1cb920305bac5f4954aead84abd_cbc357ccb763df2852fee8c4fc7d55f2_0_2069) switched from DEPLOYING to FAILED on 172.19.0.9:42467-7a262c @ taskmanager.YYYY (dataPort=46503).
java.lang.NullPointerException: null
at org.apache.flink.configuration.Configuration.(Configuration.java:87) ~[flink-dist-1.18.0.jar:1.18.0]
at org.apache.flink.api.common.ExecutionConfig.toConfiguration(ExecutionConfig.java:1209) ~[flink-dist-1.18.0.jar:1.18.0]
at org.apache.flink.runtime.taskmanager.Task.doRun(Task.java:627) ~[flink-dist-1.18.0.jar:1.18.0]
at org.apache.flink.runtime.taskmanager.Task.run(Task.java:562) ~[flink-dist-1.18.0.jar:1.18.0]
at java.lang.Thread.run(Thread.java:750) ~[?:1.8.0_392]
Используемая версия FLink — 1.18.1. Когда я напечатал «environment.getConfiguration()», все конфигурации были правильно настроены. Но из журналов менеджера заданий я вижу, что некоторые конфигурации загружаются неправильно, почему? Что мне не хватает?

Подробнее здесь: https://stackoverflow.com/questions/792 ... nvironment
Ответить

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

Вернуться в «JAVA»