Я хотел бы иметь группу обеспечения доступности баз данных, которая проверяет, находится ли файл avro в GCS, и если да, переходит к другой задаче. Этот файл avro поступает в gcs под разными именами, поэтому я хотел бы использовать префикс, чтобы просто получить любой файл avro в папке. Я использовал такой код:
Код: Выделить всё
gcs_sensor = GCSObjectsWithPrefixExistenceSensor(
task_id='gcs_avro_file_sensor',
bucket='my_bucket',
prefix='mysql/abc/',
google_cloud_conn_id='google_cloud_default',
timeout=600,
poke_interval=60,
dag=dag
)
но это всегда удается, поскольку это ExistenceSensor. Как я могу изменить его, чтобы проверить, обновлен ли там новый файл (старый файл всегда удаляется, поэтому в этой папке всегда находится только 1 файл avro).
Подробнее здесь:
https://stackoverflow.com/questions/783 ... as-updated