Я создаю ETL в AWS Glue 4.0. Я создал собственные преобразования, которые читают файл конфигурации (json) из s3 и на основе конфигурации выполняют некоторую обработку. Вот пример кода:
from pyspark.sql.functions import lit
from awsglue import...
Я строю ETL в AWS Glue 4.0. Я создал пользовательские преобразования, которые считывают файл конфигурации (JSON) из S3 и на основе конфигурации, выполняют некоторую обработку. Вот пример кода:
from pyspark.sql.functions import lit
from awsglue...
Используя AWS Firehose для загрузки данных в таблицу Iceberg, управляемую AWS Glue, я не могу вставить данные временных меток.
Firehose
Я пытаюсь вставить данные с помощью следующего скрипта:
json_data = json.dumps(
{
ADF_Record : {
foo : bar...
Используя AWS Firehose для загрузки данных в таблицу Iceberg, управляемую AWS Glue, я не могу вставить данные метки времени.
Firehose
Я пытаюсь вставить данные с помощью следующего скрипта:
json_data = json.dumps(
{
ADF_Record : {
foo : bar ,...