Добавить новый столбец с Pandas API на Spark to DataFrame ⇐ Python

[Anonymous]

Контекст: я пытаюсь добавить новый столбец в DataFrame, который был изначально создан с помощью Spark Parquet -файла, а затем преобразован в DataFrame, используя Pandas API на Spark следующим образом: < /p>
import pyspark.pandas as ps

df = spark.read.parquet(file)
psdf = ps.DataFrame(df)

psdf['new column'] = list_with_values
< /code>
Но я продолжаю получать ошибку ключевого слова, говоря, что «новый столбец» не существует. Действительно, этого не существует, но я пытаюсь создать новый столбец, как в пандах (в пандах вы можете просто сделать df ['new colum'] = список значений, и это добавит новый столбец). Я не хочу получить доступ к «новой столбце», потому что он еще не создан, я просто хочу добавить новый столбец с этим списком значений
Как я могу это сделать?>

Подробнее здесь: https://stackoverflow.com/questions/745 ... -dataframe