Pyspark — от длинного к широкому с новыми именами столбцов ⇐ Python

[Anonymous]

У меня есть этот фрейм данных:

Код: Выделить всё

data = [
{"name": "test", "sentiment": 'positive', "avg": 13.65, "stddev": 15.24},
{"name": "test", "sentiment": 'neutral', "avg": 338.74, "stddev": 187.27},
{"name": "test", "sentiment": 'negative', "avg": 54.58, "stddev": 50.19}
]

df = spark.createDataFrame(data).select("name", "sentiment", "avg", "stddev")
df.show()

Код: Выделить всё

+----+---------+------+------+
|name|sentiment|   avg|stddev|
+----+---------+------+------+
|test|positive | 13.65| 15.24|
|test|neutral  |338.74|187.27|
|test|negative | 54.58| 50.19|
+----+---------+------+------+

Я хотел бы создать фрейм данных с такой структурой:

Код: Выделить всё

+----+------------+-----------+------------+------------+-----------+------------+
|name|avg_positive|avg_neutral|avg_negative|std_positive|std_neutral|std_negative|
+----+------------+-----------+------------+------------+-----------+------------+
|test|       13.65|     338.74|       54.58|       15.24|     187.27|       50.19|
+----+------------+-----------+------------+------------+-----------+------------+

Я также не знаю названия этой операции, предложите подходящее название.
Спасибо!

Подробнее здесь: https://stackoverflow.com/questions/682 ... lumn-names