Создать DataFrame с столбцом Arraytype в pyspark ⇐ Python

[Anonymous]

Я пытаюсь создать новый DataFrame с столбцом ArrayType () , я пытался с определением схемы и без определения, но не смог получить желаемый результат. Мой код ниже со схемой < /p>
from pyspark.sql.types import *
l = [[1,2,3],[3,2,4],[6,8,9]]
schema = StructType([
StructField("data", ArrayType(IntegerType()), True)
])
df = spark.createDataFrame(l,schema)
df.show(truncate = False)
< /code>
Это дает ошибку: < /p>

valueError: длина объекта (3) не совпадает с длиной полей
(1) < /p>
< /blockquote>
желаемый вывод: < /p>
+---------+
|data |
+---------+
|[1,2,3] |
|[3,2,4] |
|[6,8,9] |
+---------+

edit:
Я нашел странную вещь (по крайней мере для меня):
Если мы используем следующий код, он дает ожидаемый результат: < /p>
import pyspark.sql.functions as f
data = [
('person', ['john', 'sam', 'jane']),
('pet', ['whiskers', 'rover', 'fido'])
]

df = spark.createDataFrame(data, ["type", "names"])
df.show(truncate=False)
< /code>
Это дает следующий ожидаемый вывод: < /p>
+------+-----------------------+
|type |names |
+------+-----------------------+
|person|[john, sam, jane] |
|pet |[whiskers, rover, fido]|
+------+-----------------------+
< /code>
Но если мы удалим первый столбец, то он дает неожиданный результат. < /p>
import pyspark.sql.functions as f
data = [
(['john', 'sam', 'jane']),
(['whiskers', 'rover', 'fido'])
]

df = spark.createDataFrame(data, ["names"])
df.show(truncate=False)
< /code>
Это дает следующий вывод: < /p>
+--------+-----+----+
|names |_2 |_3 |
+--------+-----+----+
|john |sam |jane|
|whiskers|rover|fido|
+--------+-----+----+


Подробнее здесь: https://stackoverflow.com/questions/640 ... in-pyspark