Добавить сумму столбца как новый столбец в кадре данных PySpark ⇐ Python
-
Anonymous
Добавить сумму столбца как новый столбец в кадре данных PySpark
Я использую PySpark, и у меня есть фрейм данных Spark с набором числовых столбцов. Я хочу добавить столбец, который представляет собой сумму всех остальных столбцов.
Предположим, в моем фрейме данных есть столбцы «a», «b» и «c». Я знаю, что смогу это сделать:
df.withColumn('total_col', df.a + df.b + df.c) Проблема в том, что я не хочу вводить каждый столбец по отдельности и добавлять их, особенно если столбцов у меня много. Я хочу иметь возможность делать это автоматически или путем указания списка имен столбцов, которые я хочу добавить. Есть ли другой способ сделать это?
Я использую PySpark, и у меня есть фрейм данных Spark с набором числовых столбцов. Я хочу добавить столбец, который представляет собой сумму всех остальных столбцов.
Предположим, в моем фрейме данных есть столбцы «a», «b» и «c». Я знаю, что смогу это сделать:
df.withColumn('total_col', df.a + df.b + df.c) Проблема в том, что я не хочу вводить каждый столбец по отдельности и добавлять их, особенно если столбцов у меня много. Я хочу иметь возможность делать это автоматически или путем указания списка имен столбцов, которые я хочу добавить. Есть ли другой способ сделать это?
