Как вызвать другую функцию на основе значения столбца в кадре данных в Pyspark? ⇐ Python

[Anonymous]

У меня есть фрейм данных, который содержит столбец 1, столбец 2 и столбец 3, столбец 2 может иметь значение версии, например 1,0 или 2,0.
На основе этого столбца мне нужно обработать столбцы данных. Что-то вроде:

Код: Выделить всё

if(column2 > 1.0)
call method1()
else
call method2()

Это мне нужно сделать в Pyspark.
Пытался найти информацию в Интернете, но большинство говорит об условном преобразовании столбца или ином использовании для определения столбца значение, но я хочу вызвать метод для обработки всего фрейма данных, а не столбца.

Подробнее здесь: https://stackoverflow.com/questions/788 ... in-pyspark