Скрипт для создания файлов PY ⇐ Python

[Anonymous]

Я создаю группы DAG в BigQuery и сейчас использую этот скрипт, но он создает только 1 файл Python за раз, а мне нужно создать 286 из них, и мне было интересно, есть ли у кого-нибудь скрипт для создания более одного файла за один раз. раз.
Менями, где я меняю, являются table_name, source_objects и объекты схемы, а все остальное в порядке. Если у кого-то есть скрипт, который может автоматизировать создание нескольких файлов Python одновременно, поделитесь, пожалуйста!
from airflow.providers.google.cloud.transfers.gcs_to_bigquery import GCSToBigQueryOperator
from airflow.utils.dates import days_ago
from airflow.operators.dummy import DummyOperator

project_id="bigquery-dbg"
raw_bucket="bp-data-migration-bucket"
bq_project="bigquery-dbg"
dataset="LAWSONDW"
table_name="2022_Targets_Data"
source_objects="2022_Targets_Data.txt"
source_format="csv"
field_delimiter="|"
quote_character=""
write_disposition="WRITE_TRUNCATE"
schema_object="LAWSONDW_schemas/2022_Targets_Data.json"

with DAG(
dag_id=f'gcs_to_bigquery_{table_name}',
start_date=days_ago(2),
schedule_interval=None,
tags=['Ingestion']

) as dag:

start_task = DummyOperator(task_id='start_task')

load_csv = GCSToBigQueryOperator(
task_id=f'gcs_to_bq_{table_name}',
bucket=raw_bucket,
source_objects=[source_objects],
destination_project_dataset_table=f'{bq_project}:{dataset}.{table_name}',
source_format=source_format,
field_delimiter=field_delimiter,
quote_character=quote_character,
autodetect=False,
write_disposition=write_disposition,
src_fmt_configs = {'preserveAsciiControlCharacters':True,'nullMarker':""},
schema_object = schema_object
)

end_task = DummyOperator(task_id='end_task')

start_task >> load_csv >> end_task```


Подробнее здесь: https://stackoverflow.com/questions/792 ... g-py-files