У меня есть несколько файлов CSV, хранящихся в облачном хранилище Google. Я создал задачу DAG воздушного потока, которая помещает все эти файлы в одну корзину и создает одну внешнюю таблицу, поскольку все эти файлы следуют одной и той же схеме, но с разными данными. У меня возникла проблема при попытке запросить эти данные. Я получаю сообщение об ошибке:
Ошибка при чтении таблицы: irm-eap-edp-ingestion-nonprod.route4me.routes_external, сообщение об ошибке: отсутствует символ закрывающей кавычки (").; номер_строки: 78 byte_offset_to_start_of_line: 19620 индекс_столбца: 7 имя_столбца: "имя_назначения" "column_type: значение STRING: "Опрос № 87/1, 87..." Файл: gs://irm-eap-edp-ingestion-nonprod-us-archive/route4me_data/Detailed-Routes-2023-08-29. CSV
Итак, в файле от 29 августа 2023 г. говорится, что существует проблема со столбцом «destination_name»
Я открыл этот файл в VSCode и вижу это в этой строке.
Данные столбца «destination_name» — это светло-голубые данные, распределенные по 4 строкам.
"Опрос № 87/1, 87/2, 88, 89/1 и 122, Деревня Байранахалли, Касаба Хобли, Неламангала Талук, Северный Бангалор – 562123 дюйма
Поэтому можно предположить, что у него возникла проблема, поскольку в этой записи есть несколько символов новой строки. Однако в моей задаче я включил: «allow_quoted_newlines»: True. Я предполагал, что это решит проблему с наличием новых строк внутри кавычек. Это не правильный вариант? Что я делаю не так, вот моя задача по воздушному потоку:
create_external_table = BigQueryUpsertTableOperator( Task_id=f"create_external_{TABLE}_table", dataset_id=НАБОР ДАННЫХ, project_id=INGESTION_PROJECT_ID, table_resource={ "tableReference": {"tableId": f"{TABLE}_external"}, "externalDataConfiguration": { "sourceFormat": "CSV", "схема": {"поля": схема}, "allow_quoted_newlines": Верно, "allow_jagged_rows": Верно, «автоопределение»: Верно, "sourceUris": [f"gs://{ARCHIVE_BUCKET}/{DATASET}_data/*.csv"], }, "ярлыки": labeler.get_labels_bigquery_table_v2( target_project=INGESTION_PROJECT_ID, target_dataset=НАБОР ДАННЫХ, target_table=f"{TABLE}_external", ), }, )
