Spark Sql или Pyspark для преобразования одной конкретной строки в столбец ⇐ Python

[Anonymous]

Попытка преобразовать одну конкретную строку таблицы в столбец. Попробовал логику сводной таблицы, она не работает для определенного значения строки.
Ввод:

Код: Выделить всё

col1 col2 col3  col4
a     b   abc    0
a     b   total  9
e     r   uty    5
e     r   total  44
w     v   xtr    3

вывод

Код: Выделить всё

col1 col2 col3  col4  total
a     b   abc    0     9
e     r   uty    5     44
w     v   xtr    3     0

всего в столбце 3, поскольку значения строк необходимо преобразовать в столбцы. можно ли применить какие-либо функции вместо логики соединения с использованием Pyspark или Spark sql?

Подробнее здесь: https://stackoverflow.com/questions/792 ... -to-column