PySpark: ошибка выдачи объекта «Столбец» не может быть вызвана при использовании .count() ⇐ Python

[Anonymous]

Я работаю с PySpark DataFrame и пытаюсь подсчитать количество нулевых значений в каждом столбце. Я попробовал следующее выражение:

Код: Выделить всё

[col(c).isNull().count() for c in df.columns]

выдает ошибку:

Код: Выделить всё

----> 2 [col(c).isNull().count() for c in df.columns]
TypeError: 'Column' object is not callable

С другой стороны, это выражение работает без проблем:

Код: Выделить всё

[df.filter(col(c).isNull()).count() for c in df.columns]

Выход:

Код: Выделить всё

[0, 0, 0, 0, 0, 0, 109, 109, 0, 0, 0, 0, 0]

Я не понимаю, почему первое выражение не работает, а второе работает. Может ли кто-нибудь объяснить разницу между ними и почему ошибка возникает в первом случае?

Подробнее здесь: https://stackoverflow.com/questions/790 ... sing-count