Я пытаюсь запустить какое-то задание улья в воздушном потоке. Я установил пользовательское соединение jdbc, которое вы можете видеть на изображении. Я мог бы запросить таблицы ульев через веб-интерфейс воздушного потока (профилирование данных -> специальный запрос). Также я хочу запустить образец файла dag из Интернета:
#Имя файла: wf_incremental_load.py из импорта воздушного потока DAG из airflow.operators импортировать BashOperator, HiveOperator из даты и времени импорта даты и времени, timedelta default_args = { 'владелец': 'воздушный поток', «start_date»: дата-время (2019, 3, 13), «Повторные попытки»: 1, 'retry_delay': timedelta (минуты = 5) } dag = DAG('hive_test', default_args=default_args,schedule_interval='* */5 * * *') touch_job = """ коснитесь /root/hive.txt """ # Импорт данных из таблицы Mysql в HDFS задача1 = BashOperator( Task_id = 'make_file', bash_command = touch_job, даг = даг ) # Вставка данных из внешней таблицы Hive в целевую таблицу задача2 = HiveOperator( Task_id = 'hive_table_create', hql='CREATE TABLE aaaaa AS SELECT * FROM ant_code;', hive_cli_conn_id = 'hive_jdbc', depend_on_past=Верно, даг = даг ) # определение зависимости задания Task2.set_upstream(задача1) Однако, когда я запускал это задание в воздушном потоке, у меня возникали некоторые ошибки:
ОШИБКА jdbc.Utils: невозможно прочитать конфигурации HiveServer2 из ZooKeeper Ошибка: не удалось открыть клиентский транспорт для любого из URI сервера в ZooKeeper: не удалось открыть новый сеанс: java.lang.IllegalArgumentException: невозможно изменить mapred.job.name во время выполнения. Его нет в списке параметров, которые разрешено изменять во время выполнения (state=08S01,code=0). Билайн> ИСПОЛЬЗОВАТЬ по умолчанию; Нет текущего соединения
[2019-03-13 13:32:25,335] {models.py:1593} ИНФОРМАЦИЯ. Выполнение 13.03.2019T00:00:00+00:00 [2019-03-13 13:32:25,336] {base_task_runner.py:118} ИНФОРМАЦИЯ - Выполняется: ['bash', '-c', u'airflow run hive_test hive_table_create 2019-03-13T00:00:00+00 :00 --job_id 19 --raw -sd DAGS_FOLDER/hive_test.py --cfg_path /tmp/tmphSGJhO'] [2019-03-13 13:32:27,130] {base_task_runner.py:101} ИНФОРМАЦИЯ - Задание 19: Подзадача hive_table_create [2019-03-13 13:32:27,129] {__init__.py:51} ИНФОРМАЦИЯ - Использование исполнителя SequentialExecutor [2019-03-13 13:32:27,548] {base_task_runner.py:101} ИНФОРМАЦИЯ — Задание 19: Подзадача hive_table_create [2019-03-13 13:32:27,547] {models.py:273} ИНФОРМАЦИЯ — Заполнение DagBag из /root/airflow/dags/hive_test.py [2019-03-13 13:32:27,565] {base_task_runner.py:101} ИНФОРМАЦИЯ. Задание 19: Подзадача hive_table_create /usr/lib/python2.7/site-packages/airflow/utils/helpers.py:356: DeprecationWarning : Импорт BashOperator непосредственно из airflow.operators устарел. Вместо этого импортируйте их из airflow.operators.[operator_module]. Поддержка прямого импорта будет полностью прекращена в Airflow 2.0. [2019-03-13 13:32:27,565] {base_task_runner.py:101} ИНФОРМАЦИЯ – задание 19: подзадача hive_table_create DeprecationWarning) [2019-03-13 13:32:27,570] {base_task_runner.py:101} ИНФОРМАЦИЯ. Задание 19: Подзадача hive_table_create /usr/lib/python2.7/site-packages/airflow/utils/helpers.py:356: DeprecationWarning : Импорт HiveOperator непосредственно из airflow.operators устарел. Вместо этого импортируйте их из airflow.operators.[operator_module]. Поддержка прямого импорта будет полностью прекращена в Airflow 2.0. [2019-03-13 13:32:27,570] {base_task_runner.py:101} ИНФОРМАЦИЯ – задание 19: подзадача hive_table_create DeprecationWarning) [2019-03-13 13:32:27,602] {base_task_runner.py:101} ИНФОРМАЦИЯ — Задание 19: Подзадача hive_table_create [2019-03-13 13:32:27,602] {cli.py:520} ИНФОРМАЦИЯ – выполнение на имени хоста02.excard.co.kr [2019-03-13 13:32:27,625] {hive_operator.py:118} ИНФОРМАЦИЯ - Выполнение: CREATE TABLE aaaaa AS SELECT * FROM ant_code; [2019-03-13 13:32:27,634] {logging_mixin.py:95} ИНФОРМАЦИЯ - [2019-03-13 13:32:27,634] ИНФОРМАЦИЯ - Использование соединения с: id: hive_jdbc. Хост: jdbc:hive2://192.168.0.202:10000/big_info, Порт: Нет, Схема: Нет, Логин: hive, Пароль: XXXXXXXX, дополнительно: {u'extra__jdbc__drv_path': u'/usr/hdp/3.1.0.0 -78/hive/jdbc/hive-jdbc-3.1.0.3.1.0.0-78-standalone.jar', u'extra__google_cloud_platform__scope': u'', u'extra__google_cloud_platform__project': u'', u'extra__google_cloud_platform__key_path': u '', u'extra__jdbc__drv_clsname': u'org.apache.hive.jdbc.HiveDriver', u'extra__google_cloud_platform__keyfile_dict': u''} [2019-03-13 13:32:27,636] {hive_operator.py:133} ИНФОРМАЦИЯ - передача HiveConf: {'airflow.ctx.task_id': 'hive_table_create', 'airflow.ctx.dag_id': 'hive_test', ' airflow.ctx.execution_date': '2019-03-13T00:00:00+00:00', 'airflow.ctx.dag_run_id': u'scheduled__2019-03-13T00:00:00+00:00'} [2019-03-13 13:32:27,637] {logging_mixin.py:95} ИНФОРМАЦИЯ - [2019-03-13 13:32:27,637] {hive_hooks.py:236} ИНФОРМАЦИЯ - hive -hiveconf airflow.ctx.task_id =hive_table_create -hiveconf airflow.ctx.dag_id=hive_test -hiveconf airflow.ctx.execution_date=2019-03-13T00:00:00+00:00 -hiveconf airflow.ctx.dag_run_id=scheduled__2019-03-13T00:00:00+ 00:00 -hiveconf mapred.job.name=Задача Airflow HiveOperator для name02.hive_test.hive_table_create.2019-03-13T00:00:00+00:00 -f /tmp/airflow_hiveop_rXXLyV/tmpdZYjMS [2019-03-13 13:32:32,323] {logging_mixin.py:95} ИНФОРМАЦИЯ - [2019-03-13 13:32:32,323] {hive_hooks.py:251} ИНФОРМАЦИЯ - Подключение к jdbc:hive2:// name01.excard.co.kr:2181,name02.excard.co.kr:2181,data01.excard.co.kr:2181/default;password=root;serviceDiscoveryMode=zooKeeper;user=root;zooKeeperNamespace=hiveserver2 [2019-03-13 13:32:32,738] {logging_mixin.py:95} ИНФО - [2019-03-13 13:32:32,738] {hive_hooks.py:251} ИНФО - 19/03/13 13:32 :32 [основной]: ИНФОРМАЦИЯ jdbc.HiveConnection: подключено к name02:10000 [2019-03-13 13:32:32,813] {logging_mixin.py:95} ИНФОРМАЦИЯ - [2019-03-13 13:32:32,813] {hive_hooks.py:251} ИНФОРМАЦИЯ - 19/03/13 13:32 :32 [основной]: ПРЕДУПРЕЖДЕНИЕ jdbc.HiveConnection: не удалось подключиться к name02:10000 [2019-03-13 13:32:32,830] {logging_mixin.py:95} ИНФОРМАЦИЯ - [2019-03-13 13:32:32,830] {hive_hooks.py:251} ИНФОРМАЦИЯ - 19/03/13 13:32 :32 [main]: WARN jdbc.HiveConnection: не удалось открыть клиентский транспорт с помощью JDBC Uri: jdbc:hive2://name02:10000/default;password=root;serviceDiscoveryMode=zooKeeper;user=root;zooKeeperNamespace=hiveserver2: не удалось откройте новый сеанс: java.lang.IllegalArgumentException: невозможно изменить mapred.job.name во время выполнения. Его нет в списке параметров, которые разрешено изменять во время выполнения. Повторная попытка 0 из 1. [2019-03-13 13:32:32,895] {logging_mixin.py:95} ИНФОРМАЦИЯ - [2019-03-13 13:32:32,895] {hive_hooks.py:251} ИНФОРМАЦИЯ - 19/03/13 13:32 :32 [основной]: ИНФОРМАЦИЯ jdbc.HiveConnection: подключен к данным 01:10000 [2019-03-13 13:32:32,941] {logging_mixin.py:95} ИНФОРМАЦИЯ - [2019-03-13 13:32:32,941] {hive_hooks.py:251} ИНФОРМАЦИЯ - 19/03/13 13:32 :32 [основной]: ПРЕДУПРЕЖДЕНИЕ jdbc.HiveConnection: не удалось подключиться к данным 01:10000 [2019-03-13 13:32:32,959] {logging_mixin.py:95} ИНФО - [2019-03-13 13:32:32,959] {hive_hooks.py:251} ИНФО - 19/03/13 13:32 :32 [main]: ОШИБКА jdbc.Utils: невозможно прочитать конфигурации HiveServer2 из ZooKeeper [2019-03-13 13:32:32,967] {logging_mixin.py:95} ИНФОРМАЦИЯ - [2019-03-13 13:32:32967] ИНФОРМАЦИЯ {hive_hooks.py:251} - Ошибка: не удалось открыть клиентский транспорт для любой из URI сервера в ZooKeeper: не удалось открыть новый сеанс: java.lang.IllegalArgumentException: невозможно изменить mapred.job.name во время выполнения. Его нет в списке параметров, которые разрешено изменять во время выполнения (state=08S01,code=0). [2019-03-13 13:32:32,980] {logging_mixin.py:95} ИНФОРМАЦИЯ - [2019-03-13 13:32:32,980] {hive_hooks.py:251} ИНФОРМАЦИЯ - beeline> ИСПОЛЬЗОВАТЬ по умолчанию; [2019-03-13 13:32:32,988] {logging_mixin.py:95} ИНФОРМАЦИЯ - [2019-03-13 13:32:32,988] {hive_hooks.py:251} ИНФОРМАЦИЯ - Нет текущего соединения [2019-03-13 13:32:33,035] {models.py:1788} ОШИБКА - подключение к jdbc:hive2://name01.excard.co.kr:2181,name02.excard.co.kr:2181,data01 .excard.co.kr:2181/default;password=root;serviceDiscoveryMode=zooKeeper;user=root;zooKeeperNamespace=hiveserver2 19.03.13 13:32:32 [основной]: ИНФОРМАЦИЯ jdbc.HiveConnection: подключено к name02:10000 03.19.13 13:32:32 [основной]: ПРЕДУПРЕЖДЕНИЕ jdbc.HiveConnection: не удалось подключиться к name02:10000 19.03.13 13:32:32 [main]: WARN jdbc.HiveConnection: не удалось открыть клиентский транспорт с помощью JDBC Uri: jdbc:hive2://name02:10000/default;password=root;serviceDiscoveryMode=zooKeeper;user= root;zooKeeperNamespace=hiveserver2: не удалось открыть новый сеанс: java.lang.IllegalArgumentException: невозможно изменить mapred.job.name во время выполнения. Его нет в списке параметров, которые разрешено изменять во время выполнения. Повторная попытка 0 из 1. 19.03.13 13:32:32 [основной]: ИНФОРМАЦИЯ jdbc.HiveConnection: подключено к data01:10000 03.19.13 13:32:32 [основной]: ПРЕДУПРЕЖДЕНИЕ jdbc.HiveConnection: не удалось подключиться к данным 01:10000 19.03.13 13:32:32 [main]: ОШИБКА jdbc.Utils: невозможно прочитать конфигурации HiveServer2 из ZooKeeper Ошибка: не удалось открыть клиентский транспорт для любого из URI сервера в ZooKeeper: не удалось открыть новый сеанс: java.lang.IllegalArgumentException: невозможно изменить mapred.job.name во время выполнения. Его нет в списке параметров, которые разрешено изменять во время выполнения (state=08S01,code=0). Билайн> ИСПОЛЬЗОВАТЬ по умолчанию; Нет текущего соединения Traceback (последний вызов последний): Файл «/usr/lib/python2.7/site-packages/airflow/models.py», строка 1657, в _run_raw_task результат = Task_copy.execute(контекст=контекст) Файл "/usr/lib/python2.7/site-packages/airflow/operators/hive_operator.py", строка 134, выполняется. self.hook.run_cli(hql=self.hql, схема=self.schema, hive_conf=self.hiveconfs) Файл «/usr/lib/python2.7/site-packages/airflow/hooks/hive_hooks.py», строка 255, в run_cli поднять исключение AirflowException (стандартный вывод) AirflowException: подключение к jdbc:hive2://name01.excard.co.kr:2181,name02.excard.co.kr:2181,data01.excard.co.kr:2181/default;password=root;serviceDiscoveryMode=zooKeeper; пользователь = корень;zooKeeperNamespace = hiveserver2 19.03.13 13:32:32 [основной]: ИНФОРМАЦИЯ jdbc.HiveConnection: подключено к name02:10000 03.19.13 13:32:32 [основной]: ПРЕДУПРЕЖДЕНИЕ jdbc.HiveConnection: не удалось подключиться к name02:10000 19.03.13 13:32:32 [main]: WARN jdbc.HiveConnection: не удалось открыть клиентский транспорт с помощью JDBC Uri: jdbc:hive2://name02:10000/default;password=root;serviceDiscoveryMode=zooKeeper;user= root;zooKeeperNamespace=hiveserver2: не удалось открыть новый сеанс: java.lang.IllegalArgumentException: невозможно изменить mapred.job.name во время выполнения. Его нет в списке параметров, которые разрешено изменять во время выполнения. Повторная попытка 0 из 1. 19.03.13 13:32:32 [основной]: ИНФОРМАЦИЯ jdbc.HiveConnection: подключено к data01:10000 03.19.13 13:32:32 [основной]: ПРЕДУПРЕЖДЕНИЕ jdbc.HiveConnection: не удалось подключиться к данным 01:10000 19.03.13 13:32:32 [main]: ОШИБКА jdbc.Utils: невозможно прочитать конфигурации HiveServer2 из ZooKeeper Ошибка: не удалось открыть клиентский транспорт для любого из URI сервера в ZooKeeper: не удалось открыть новый сеанс: java.lang.IllegalArgumentException: невозможно изменить mapred.job.name во время выполнения. Его нет в списке параметров, которые разрешено изменять во время выполнения (state=08S01,code=0). Билайн> ИСПОЛЬЗОВАТЬ по умолчанию; Нет текущего соединения [2019-03-13 13:32:33,037] {models.py:1817} ИНФОРМАЦИЯ — все повторные попытки завершились неудачно; пометить задачу как НЕУДАЧНУЮ [2019-03-13 13:32:33,546] {base_task_runner.py:101} ИНФОРМАЦИЯ - Задание 19: Подзадача hive_table_create Traceback (последний последний вызов): [2019-03-13 13:32:33,546] {base_task_runner.py:101} ИНФОРМАЦИЯ – задание 19: подзадача hive_table_create, файл "/usr/bin/airflow", строка 32, в [2019-03-13 13:32:33,547] {base_task_runner.py:101} ИНФОРМАЦИЯ. Задание 19: Подзадача hive_table_create args.func(args) [2019-03-13 13:32:33,547] {base_task_runner.py:101} ИНФОРМАЦИЯ. Задание 19: подзадача hive_table_create Файл "/usr/lib/python2.7/site-packages/airflow/utils/cli.py", строка 74, в обертке [2019-03-13 13:32:33,547] {base_task_runner.py:101} ИНФОРМАЦИЯ – задание 19: подзадача hive_table_create return f(*args, **kwargs) [2019-03-13 13:32:33,547] {base_task_runner.py:101} ИНФОРМАЦИЯ. Задание 19: подзадача hive_table_create Файл "/usr/lib/python2.7/site-packages/airflow/bin/cli.py", строка 526, в работе [2019-03-13 13:32:33,547] {base_task_runner.py:101} ИНФОРМАЦИЯ - Задание 19: Подзадача hive_table_create _run(args, dag, ti) [2019-03-13 13:32:33,548] {base_task_runner.py:101} ИНФОРМАЦИЯ - Задание 19: Подзадача hive_table_create Файл "/usr/lib/python2.7/site-packages/airflow/bin/cli.py", строка 445, в _run [2019-03-13 13:32:33,548] {base_task_runner.py:101} ИНФОРМАЦИЯ – задание 19: подзадача hive_table_createpool=args.pool, [2019-03-13 13:32:33,548] {base_task_runner.py:101} ИНФОРМАЦИЯ. Задание 19: подзадача hive_table_create Файл "/usr/lib/python2.7/site-packages/airflow/utils/db.py", строка 73, в обертке [2019-03-13 13:32:33,548] {base_task_runner.py:101} ИНФОРМАЦИЯ – задание 19: подзадача hive_table_create return func(*args, **kwargs) [2019-03-13 13:32:33,548] {base_task_runner.py:101} ИНФОРМАЦИЯ — задание 19: подзадача hive_table_create, файл "/usr/lib/python2.7/site-packages/airflow/models.py", строка 1657 , в _run_raw_task [2019-03-13 13:32:33,549] {base_task_runner.py:101} ИНФОРМАЦИЯ – задание 19: подзадача hive_table_create result = Task_copy.execute(context=context) [2019-03-13 13:32:33,549] {base_task_runner.py:101} ИНФОРМАЦИЯ. Задание 19: подзадача hive_table_create Файл "/usr/lib/python2.7/site-packages/airflow/operators/hive_operator.py", строка 134, выполняется [2019-03-13 13:32:33,549] {base_task_runner.py:101} ИНФОРМАЦИЯ. Задание 19: Подзадача hive_table_create self.hook.run_cli(hql=self.hql, Schema=self.schema, hive_conf=self.hiveconfs) [2019-03-13 13:32:33,549] {base_task_runner.py:101} ИНФОРМАЦИЯ. Задание 19: Подзадача hive_table_create Файл "/usr/lib/python2.7/site-packages/airflow/hooks/hive_hooks.py", строка 255 в run_cli [2019-03-13 13:32:33,549] {base_task_runner.py:101} ИНФОРМАЦИЯ - Задание 19: Подзадача hive_table_create поднять AirflowException (stdout) [2019-03-13 13:32:33,550] {base_task_runner.py:101} ИНФОРМАЦИЯ - Задание 19: Подзадача hive_table_create airflow.Exceptions.AirflowException: подключение к jdbc:hive2://name01.excard.co.kr:2181, name02.excard.co.kr:2181,data01.excard.co.kr:2181/default;password=root;serviceDiscoveryMode=zooKeeper;user=root;zooKeeperNamespace=hiveserver2 [2019-03-13 13:32:33,550] {base_task_runner.py:101} ИНФОРМАЦИЯ - Задание 19: Подзадача hive_table_create 19/03/13 13:32:32 [основной]: ИНФОРМАЦИЯ jdbc.HiveConnection: подключено к name02:10000 [2019-03-13 13:32:33,550] {base_task_runner.py:101} ИНФОРМАЦИЯ - Задание 19: Подзадача hive_table_create 19/03/13 13:32:32 [main]: WARN jdbc.HiveConnection: не удалось подключиться к name02 :10000 [2019-03-13 13:32:33,551] {base_task_runner.py:101} ИНФОРМАЦИЯ - Задание 19: Подзадача hive_table_create 19/03/13 13:32:32 [main]: WARN jdbc.HiveConnection: не удалось открыть клиентский транспорт с JDBC Uri: jdbc:hive2://name02:10000/default;password=root;serviceDiscoveryMode=zooKeeper;user=root;zooKeeperNamespace=hiveserver2: не удалось открыть новый сеанс: java.lang.IllegalArgumentException: невозможно изменить mapred.job. имя во время выполнения. Его нет в списке параметров, которые разрешено изменять во время выполнения. Повторная попытка 0 из 1. [2019-03-13 13:32:33,551] {base_task_runner.py:101} ИНФОРМАЦИЯ - Задание 19: Подзадача hive_table_create 19/03/13 13:32:32 [основная]: ИНФОРМАЦИЯ jdbc.HiveConnection: подключено к data01:10000 [2019-03-13 13:32:33,551] {base_task_runner.py:101} ИНФОРМАЦИЯ - Задание 19: Подзадача hive_table_create 19/03/13 13:32:32 [main]: WARN jdbc.HiveConnection: не удалось подключиться к data01 :10000 [2019-03-13 13:32:33,552] {base_task_runner.py:101} ИНФОРМАЦИЯ - Задание 19: Подзадача hive_table_create 19/03/13 13:32:32 [main]: ОШИБКА jdbc.Utils: невозможно прочитать конфигурации HiveServer2 от ZooKeeper [2019-03-13 13:32:33,552] {base_task_runner.py:101} ИНФОРМАЦИЯ - Задание 19: Ошибка подзадачи hive_table_create: не удалось открыть клиентский транспорт для любого из URI сервера в ZooKeeper: не удалось открыть новый сеанс: java. lang.IllegalArgumentException: невозможно изменить mapred.job.name во время выполнения. Его нет в списке параметров, которые разрешено изменять во время выполнения (state=08S01,code=0). [2019-03-13 13:32:33,552] {base_task_runner.py:101} ИНФОРМАЦИЯ — Задание 19: Подзадача hive_table_create beeline> ИСПОЛЬЗОВАТЬ по умолчанию; [2019-03-13 13:32:33,552] {base_task_runner.py:101} ИНФОРМАЦИЯ - Задание 19: Подзадача hive_table_create Нет текущего соединения [2019-03-13 13:32:33,552] {base_task_runner.py:101} ИНФОРМАЦИЯ – задание 19: подзадача hive_table_create [2019-03-13 13:32:35,201] {logging_mixin.py:95} ИНФОРМАЦИЯ - [2019-03-13 13:32:35,201] {jobs.py:2527} ИНФОРМАЦИЯ - Задача завершена с кодом возврата 1 Пожалуйста, помогите решить проблему.
Обновление:
Я добавляю hive.security.authorization.sqlstd.confwhitelist.append: mapred.job.name* в hive-site.xml.
Итак, теперь у меня немного другая ошибка:
Ошибка: не удалось открыть клиентский транспорт ни для одного из URI сервера в ZooKeeper: не удалось открыть новый сеанс: java.lang.IllegalArgumentException: невозможно изменить airflow.ctx.task_id во время выполнения. Его нет в списке параметров, которые разрешено изменять во время выполнения (state=08S01,code=0). Билайн> ИСПОЛЬЗОВАТЬ по умолчанию; Нет текущего соединения Обратная трассировка (последний вызов):
[2019-03-13 14:54:31,946] {models.py:1593} ИНФОРМАЦИЯ. Выполнение 13.03.2019T00:00:00+00:00 [2019-03-13 14:54:31,947] {base_task_runner.py:118} ИНФОРМАЦИЯ - Выполняется: ['bash', '-c', u'airflow run hive_test hive_table_create 2019-03-13T00:00:00+00 :00 --job_id 11 --raw -sd DAGS_FOLDER/hive_test.py --cfg_path /tmp/tmpGDjT7j'] [2019-03-13 14:54:33,793] {base_task_runner.py:101} ИНФОРМАЦИЯ - Задание 11: Подзадача hive_table_create [2019-03-13 14:54:33,792] {__init__.py:51} ИНФОРМАЦИЯ - Использование исполнителя SequentialExecutor [2019-03-13 14:54:34,189] {base_task_runner.py:101} ИНФОРМАЦИЯ — Задание 11: Подзадача hive_table_create [2019-03-13 14:54:34,189] {models.py:273} ИНФОРМАЦИЯ — Заполнение DagBag из /root/airflow/dags/hive_test.py [2019-03-13 14:54:34,192] {base_task_runner.py:101} ИНФОРМАЦИЯ. Задание 11: Подзадача hive_table_create /usr/lib/python2.7/site-packages/airflow/utils/helpers.py:356: DeprecationWarning : Импорт BashOperator непосредственно из airflow.operators устарел. Вместо этого импортируйте их из airflow.operators.[operator_module]. Поддержка прямого импорта будет полностью прекращена в Airflow 2.0. [2019-03-13 14:54:34,193] {base_task_runner.py:101} ИНФОРМАЦИЯ – задание 11: подзадача hive_table_create DeprecationWarning) [2019-03-13 14:54:34,195] {base_task_runner.py:101} ИНФОРМАЦИЯ. Задание 11: Подзадача hive_table_create /usr/lib/python2.7/site-packages/airflow/utils/helpers.py:356: DeprecationWarning : Импорт HiveOperator непосредственно из airflow.operators устарел. Вместо этого импортируйте их из airflow.operators.[operator_module]. Поддержка прямого импорта будет полностью прекращена в Airflow 2.0. [2019-03-13 14:54:34,195] {base_task_runner.py:101} ИНФОРМАЦИЯ – задание 11: подзадача hive_table_create DeprecationWarning) [2019-03-13 14:54:34,219] {base_task_runner.py:101} ИНФОРМАЦИЯ. Задание 11: Подзадача hive_table_create [2019-03-13 14:54:34,218] {cli.py:520} ИНФОРМАЦИЯ – запуск на имени хоста02.excard.co.kr [2019-03-13 14:54:34,240] {hive_operator.py:118} ИНФОРМАЦИЯ - Выполнение: CREATE TABLE aaaaa AS SELECT * FROM ant_code; [2019-03-13 14:54:34,249] {logging_mixin.py:95} ИНФОРМАЦИЯ - [2019-03-13 14:54:34,249] {base_hook.py:83} ИНФОРМАЦИЯ - Использование соединения с: id: hive_jdbc. Хост: jdbc:hive2://192.168.0.202:10000/big_info, Порт: Нет, Схема: Нет, Логин: hive, Пароль: XXXXXXXX, дополнительно: {u'extra__jdbc__drv_path': u'/usr/hdp/3.1.0.0 -78/hive/jdbc/hive-jdbc-3.1.0.3.1.0.0-78-standalone.jar', u'extra__google_cloud_platform__scope': u'', u'extra__google_cloud_platform__project': u'', u'extra__google_cloud_platform__key_path': u '', u'extra__jdbc__drv_clsname': u'org.apache.hive.jdbc.HiveDriver', u'extra__google_cloud_platform__keyfile_dict': u''} [2019-03-13 14:54:34,251] {hive_operator.py:133} ИНФОРМАЦИЯ - передача HiveConf: {'airflow.ctx.task_id': 'hive_table_create', 'airflow.ctx.dag_id': 'hive_test', ' airflow.ctx.execution_date': '2019-03-13T00:00:00+00:00', 'airflow.ctx.dag_run_id': u'scheduled__2019-03-13T00:00:00+00:00'} [2019-03-13 14:54:34,253] {logging_mixin.py:95} ИНФОРМАЦИЯ - [2019-03-13 14:54:34,252] {hive_hooks.py:236} ИНФОРМАЦИЯ - hive -hiveconf airflow.ctx.task_id =hive_table_create -hiveconf airflow.ctx.dag_id=hive_test -hiveconf airflow.ctx.execution_date=2019-03-13T00:00:00+00:00 -hiveconf airflow.ctx.dag_run_id=scheduled__2019-03-13T00:00:00+ 00:00 -hiveconf mapred.job.name=Задача Airflow HiveOperator для name02.hive_test.hive_table_create.2019-03-13T00:00:00+00:00 -f /tmp/airflow_hiveop_wNbQlL/tmpFN6MGy [2019-03-13 14:54:39,061] {logging_mixin.py:95} ИНФОРМАЦИЯ - [2019-03-13 14:54:39,060] {hive_hooks.py:251} ИНФОРМАЦИЯ - Подключение к jdbc:hive2:// name01.excard.co.kr:2181,name02.excard.co.kr:2181,data01.excard.co.kr:2181/default;password=root;serviceDiscoveryMode=zooKeeper;user=root;zooKeeperNamespace=hiveserver2 [2019-03-13 14:54:39,443] {logging_mixin.py:95} ИНФОРМАЦИЯ - [2019-03-13 14:54:39,443] {hive_hooks.py:251} ИНФОРМАЦИЯ - 19/03/13 14:54 :39 [основной]: ИНФОРМАЦИЯ jdbc.HiveConnection: подключено к данным 01:10000 [2019-03-13 14:54:39,532] {logging_mixin.py:95} ИНФОРМАЦИЯ - [2019-03-13 14:54:39,532] {hive_hooks.py:251} ИНФОРМАЦИЯ - 19/03/13 14:54 :39 [основной]: ПРЕДУПРЕЖДЕНИЕ jdbc.HiveConnection: не удалось подключиться к данным 01:10000 [2019-03-13 14:54:39,552] {logging_mixin.py:95} ИНФО - [2019-03-13 14:54:39,551] {hive_hooks.py:251} ИНФО - 19/03/13 14:54 :39 [main]: WARN jdbc.HiveConnection: не удалось открыть клиентский транспорт с помощью JDBC Uri: jdbc:hive2://data01:10000/default;password=root;serviceDiscoveryMode=zooKeeper;user=root;zooKeeperNamespace=hiveserver2: не удалось откройте новый сеанс: java.lang.IllegalArgumentException: невозможно изменить airflow.ctx.task_id во время выполнения. Его нет в списке параметров, которые разрешено изменять во время выполнения. Повторная попытка 0 из 1. [2019-03-13 14:54:39,664] {logging_mixin.py:95} ИНФО - [2019-03-13 14:54:39,664] {hive_hooks.py:251} ИНФО - 19/03/13 14:54 :39 [основной]: ИНФОРМАЦИЯ jdbc.HiveConnection: подключено к name02:10000 [2019-03-13 14:54:39,856] {logging_mixin.py:95} ИНФО - [2019-03-13 14:54:39,856] {hive_hooks.py:251} ИНФО - 19/03/13 14:54 :39 [основной]: ПРЕДУПРЕЖДЕНИЕ jdbc.HiveConnection: не удалось подключиться к name02:10000 [2019-03-13 14:54:41,134] {logging_mixin.py:95} ИНФОРМАЦИЯ - [2019-03-13 14:54:41,134] {hive_hooks.py:251} ИНФОРМАЦИЯ - 19/03/13 14:54 :41 [main]: ОШИБКА jdbc.Utils: невозможно прочитать конфигурации HiveServer2 из ZooKeeper. [2019-03-13 14:54:41,147] {logging_mixin.py:95} ИНФОРМАЦИЯ - [2019-03-13 14:54:41,146] ИНФОРМАЦИЯ {hive_hooks.py:251} - Ошибка: не удалось открыть клиентский транспорт для любой из URI сервера в ZooKeeper: не удалось открыть новый сеанс: java.lang.IllegalArgumentException: невозможно изменить airflow.ctx.task_id во время выполнения. Его нет в списке параметров, которые разрешено изменять во время выполнения (state=08S01,code=0). [2019-03-13 14:54:41,167] {logging_mixin.py:95} ИНФОРМАЦИЯ - [2019-03-13 14:54:41,167] {hive_hooks.py:251} ИНФОРМАЦИЯ - beeline> ИСПОЛЬЗОВАТЬ по умолчанию; [2019-03-13 14:54:41,180] {logging_mixin.py:95} ИНФОРМАЦИЯ - [2019-03-13 14:54:41,180] {hive_hooks.py:251} ИНФОРМАЦИЯ - Нет текущего соединения [2019-03-13 14:54:41,253] {models.py:1788} ОШИБКА - подключение к jdbc:hive2://name01.excard.co.kr:2181,name02.excard.co.kr:2181,data01 .excard.co.kr:2181/default;password=root;serviceDiscoveryMode=zooKeeper;user=root;zooKeeperNamespace=hiveserver2 19.03.13 14:54:39 [основной]: ИНФОРМАЦИЯ jdbc.HiveConnection: подключено к data01:10000 03.19.13 14:54:39 [основной]: ПРЕДУПРЕЖДЕНИЕ jdbc.HiveConnection: не удалось подключиться к данным 01:10000 19.03.13 14:54:39 [main]: ПРЕДУПРЕЖДЕНИЕ jdbc.HiveConnection: не удалось открыть клиентский транспорт с помощью JDBC Uri: jdbc:hive2://data01:10000/default;password=root;serviceDiscoveryMode=zooKeeper;user= root;zooKeeperNamespace=hiveserver2: не удалось открыть новый сеанс: java.lang.IllegalArgumentException: невозможно изменить airflow.ctx.task_id во время выполнения. Его нет в списке параметров, которые разрешено изменять во время выполнения. Повторная попытка 0 из 1. 19.03.13 14:54:39 [основной]: ИНФОРМАЦИЯ jdbc.HiveConnection: подключено к name02:10000 19.03.13 14:54:39 [основной]: ПРЕДУПРЕЖДЕНИЕ jdbc.HiveConnection: не удалось подключиться к name02:10000 03.19.13 14:54:41 [main]: ОШИБКА jdbc.Utils: невозможно прочитать конфигурации HiveServer2 из ZooKeeper Ошибка: не удалось открыть клиентский транспорт ни для одного из URI сервера в ZooKeeper: не удалось открыть новый сеанс: java.lang.IllegalArgumentException: невозможно изменить airflow.ctx.task_id во время выполнения. Его нет в списке параметров, которые разрешено изменять во время выполнения (state=08S01,code=0). Билайн> ИСПОЛЬЗОВАТЬ по умолчанию; Нет текущего соединения Traceback (последний вызов последний): Файл «/usr/lib/python2.7/site-packages/airflow/models.py», строка 1657, в _run_raw_task результат = Task_copy.execute(контекст=контекст) Файл "/usr/lib/python2.7/site-packages/airflow/operators/hive_operator.py", строка 134, выполняется. self.hook.run_cli(hql=self.hql, схема=self.schema, hive_conf=self.hiveconfs) Файл «/usr/lib/python2.7/site-packages/airflow/hooks/hive_hooks.py», строка 255, в run_cli поднять исключение AirflowException (стандартный вывод) AirflowException: подключение к jdbc:hive2://name01.excard.co.kr:2181,name02.excard.co.kr:2181,data01.excard.co.kr:2181/default;password=root;serviceDiscoveryMode=zooKeeper; пользователь = корень;zooKeeperNamespace = hiveserver2 19.03.13 14:54:39 [основной]: ИНФОРМАЦИЯ jdbc.HiveConnection: подключено к data01:10000 03.19.13 14:54:39 [основной]: ПРЕДУПРЕЖДЕНИЕ jdbc.HiveConnection: не удалось подключиться к данным 01:10000 19.03.13 14:54:39 [main]: ПРЕДУПРЕЖДЕНИЕ jdbc.HiveConnection: не удалось открыть клиентский транспорт с помощью JDBC Uri: jdbc:hive2://data01:10000/default;password=root;serviceDiscoveryMode=zooKeeper;user= root;zooKeeperNamespace=hiveserver2: не удалось открыть новый сеанс: java.lang.IllegalArgumentException: невозможно изменить airflow.ctx.task_id во время выполнения. Его нет в списке параметров, которые разрешено изменять во время выполнения. Повторная попытка 0 из 1. 19.03.13 14:54:39 [основной]: ИНФОРМАЦИЯ jdbc.HiveConnection: подключено к name02:10000 19.03.13 14:54:39 [основной]: ПРЕДУПРЕЖДЕНИЕ jdbc.HiveConnection: не удалось подключиться к name02:10000 03.19.13 14:54:41 [main]: ОШИБКА jdbc.Utils: невозможно прочитать конфигурации HiveServer2 из ZooKeeper Ошибка: не удалось открыть клиентский транспорт ни для одного из URI сервера в ZooKeeper: не удалось открыть новый сеанс: java.lang.IllegalArgumentException: невозможно изменить airflow.ctx.task_id во время выполнения. Его нет в списке параметров, которые разрешено изменять во время выполнения (state=08S01,code=0). Билайн> ИСПОЛЬЗОВАТЬ по умолчанию; Нет текущего соединения
