Airflow Xcom Pull - строка Jinja заменить кавычкиPython

Программы на Python
Anonymous
Airflow Xcom Pull - строка Jinja заменить кавычки

Сообщение Anonymous »

`Я работаю с извлечением воздушного потока xcom внутри задачи с помощью DatabricksRunNowOperator, как показано ниже.
  • значения из извлечения xcom дают путь к файлам s3.пример: "s3_filepath_1,s3_file_path_2"
  • когда я заменяю ',' на '","', это не работает. p>
  • поэтому я попробовал это -> replace(',','@,@') | replace('@', '"'). это возвращает строку с " вот так-> "dev/dir/file","dev/dir2/file2"
  • как избежать двойной кавычки replace('@', '"') внутри этого
КОД:
s3_to_databricks: DatabricksRunNowOperator = DatabricksRunNowOperator(
dag=dag,
task_id="s3_to_databricks",
job_id=api.get("databricks_jobs").get(ENVIRONMENT),
python_params=f"{{{{ ti.xcom_pull(task_ids=[params.extract_task_id], key='s3_object_keys') | replace('[','') | replace(']','') | replace(\"\'\",'') | replace(' ','') | replace(',','@,@') | replace('@', '\"') }}}}",
)


Подробнее здесь: https://stackoverflow.com/questions/785 ... ace-quotes

Вернуться в «Python»