Код Pyspark для создания нового столбца в существующем фрейме данных и присвоения значения столбцу из функции ⇐ Python

[Anonymous]

У меня есть фрейм данных df, в котором около 40 столбцов. Теперь я хочу добавить новый столбец с именем комментарий в фрейм данных, и значение этого столбца должно передаваться через функцию.
Я создал эту функцию -

Код: Выделить всё

def new_column(df):
null_col = []

Код: Выделить всё

for c in df.columns:

Код: Выделить всё

if df.select(c).first()[0] == '':  null_cols.append(c)

Код: Выделить всё

if len(null_cols) > 1: x= (' & '.join(null_cols))

Код: Выделить всё

else: x = (null_cols)

Код: Выделить всё

return x

Вызов функции здесь -

Код: Выделить всё

df_updt = df.withColumn("comment", new_column(df))

Но я получаю сообщение об ошибке:
Аргумент col должен быть столбцом, получил строку.
Можно ли каким-либо образом добиться этого в блоках данных?
Я пробовал разные версии одной и той же функции, пытался создать udf, но udf не принимает фрейм данных в качестве входного параметра. Я попробовал другой вариант, предоставленный Gemini, но ничего не работает.
Пожалуйста, игнорируйте кавычки в функции, которую я указал, иначе stackoverflow показывал ошибку.

Подробнее здесь: https://stackoverflow.com/questions/785 ... alue-to-th