Влияет ли преобразование RDD в DataFrame и Back разделы или структуру данных внутри раздела в Spark? ⇐ Python

[Anonymous]

Я экспериментирую с Spark и хочу прояснить, как ведет ведение разделения при преобразовании между RDD и DataFrames.

Код: Выделить всё

rdd1 = sc.parallelize([("a",1), ("b",2), ("c",3), ("d",4)], 4)
print(rdd1.glom().collect())
# Output: [[('a', 1)], [('b', 2)], [('c', 3)], [('d', 4)]]

df = rdd1.toDF(["letter", "freq"])
print(df.collect())
# Output: [Row(letter='a', freq=1),
#          Row(letter='b', freq=2),
#          Row(letter='c', freq=3),
#          Row(letter='d', freq=4)]

rdd2 = df.rdd
print(rdd2.glom().collect())
# Output: [[Row(letter='a', freq=1)],
#          [Row(letter='b', freq=2)],
#          [Row(letter='c', freq=3)],
#          [Row(letter='d', freq=4)]]
< /code>
При преобразовании RDD1 < /code> (где каждый элемент является кортежом) в DataFrame
df

(где каждый элемент становится объектом ряд , создал ли Spark новые разделы, потому что тип данных внутри каждого раздела изменялся от кортежа на строку? Или перегородки остались точно такими же?

Подробнее здесь: https://stackoverflow.com/questions/796 ... -structure