Pyspark преобразует структуру данных ⇐ Python

[Anonymous]

У меня есть таблица bigquery. Пример данных в формате json:

Код: Выделить всё

[{"cust_id": 12345,
"Seq_column": [1,2,3,4,5]}]

Когда я получаю данные с помощью pyspark и сохраняю их обратно в таблицу bigquery, структура столбца «seq_column» меняется

Код: Выделить всё

[{"cust_id": 12345,
"Seq_column": [{"element":1},{"element":2},{"element":3},{"element":4},{"element":5}
}]}]

Как мне сохранить исходную структуру этого столбца?
Я попробовал функцию типа массива pyspark. Более близкое решение, которое я получил, — преобразовать его в строковый тип перед сохранением. Но это неправильно. Есть ли другой способ?

Подробнее здесь: https://stackoverflow.com/questions/786 ... f-the-data