Кадр данных Spark не добавляет столбцы с нулевыми значениями ⇐ Python

[Anonymous]

Я пытаюсь создать новый столбец, добавив два существующих столбца в свой фрейм данных.

Исходный фрейм данных

Код: Выделить всё

╔══════╦══════╗
║ cola ║ colb ║
╠══════╬══════╣
║ 1    ║ 1    ║
║ null ║ 3    ║
║ 2    ║ null ║
║ 4    ║ 2    ║
╚══════╩══════╝

Ожидаемый результат с производным столбцом

Код: Выделить всё

╔══════╦══════╦══════╗
║ cola ║ colb ║ colc ║
╠══════╬══════╬══════╣
║ 1    ║ 1    ║    2 ║
║ null ║ 3    ║    3 ║
║ 2    ║ null ║    2 ║
║ 4    ║ 2    ║    6 ║
╚══════╩══════╩══════╝

Когда я использую df = df.withColumn('colc',df.cola+df.colb), он не добавляет столбцы с нулевыми значениями.

Я получаю следующий результат:

Код: Выделить всё

╔══════╦══════╦══════╗
║ cola ║ colb ║ colc ║
╠══════╬══════╬══════╣
║ 1    ║ 1    ║ 2    ║
║ null ║ 3    ║ null ║
║ 2    ║ null ║ null ║
║ 4    ║ 2    ║ 6    ║
╚══════╩══════╩══════╝

Есть ли способ включить в расчет нулевые значения. Любая помощь будет оценена по достоинству.

Подробнее здесь: https://stackoverflow.com/questions/528 ... ull-values