У меня есть кадр данных, который содержит столбец1, столбец2 и столбец3, столбец2 может иметь значение версии, например, 1.0 или 2.0.
На основе этого столбца мне нужно обработать столбцы кадра данных. Что-то вроде:
if(column2 > 1.0)
вызов метода1()
иначе
вызов метода2()
это мне нужно сделать в Pyspark.
Пробывал поиск в Интернете, но большинство говорит об условном преобразовании столбца или об использовании иного способа определения значения столбца, но я хочу вызвать метод для обработки полного фрейма данных, а не значения столбца < /п>
Подробнее здесь: https://stackoverflow.com/questions/788 ... in-pyspark
