Преобразование PipelinedRDD в фрейм данных ⇐ Python

[Anonymous]

Я пытаюсь преобразовать конвейерный RDD в pyspark в фрейм данных. Это фрагмент кода:

Код: Выделить всё

newRDD = rdd.map(lambda row: Row(row.__fields__ + ["tag"])(row + (tagScripts(row), )))
df = newRDD.toDF()

Однако, когда я запускаю код, я получаю эту ошибку:

Код: Выделить всё

'list' object has no attribute 'encode'

Я пробовал несколько других комбинаций, например, преобразование в фрейм данных Pandas с использованием:

< р>

Код: Выделить всё

newRDD = rdd.map(lambda row: Row(row.__fields__ + ["tag"])(row + (tagScripts(row), )))
df = newRDD.toPandas()

Но затем я получаю эту ошибку:

Код: Выделить всё

AttributeError: 'PipelinedRDD' object has no attribute 'toPandas'

Будем очень благодарны за любую помощь. Спасибо, что уделили время.

Подробнее здесь: https://stackoverflow.com/questions/449 ... -dataframe