PySpark GroupedData — объединение нескольких различных методов агрегации.Python

Программы на Python
Ответить
Anonymous
 PySpark GroupedData — объединение нескольких различных методов агрегации.

Сообщение Anonymous »

Я играю с GroupedData в pyspark.
Это моя среда.

Код: Выделить всё

    Welcome to
____              __
/ __/__  ___ _____/ /__
_\ \/ _ \/ _ `/ __/  '_/
/___/ .__/\_,_/_/ /_/\_\   version 3.5.1
/_/

Using Scala version 2.12.18, OpenJDK 64-Bit Server VM, 11.0.24
Branch HEAD

https://spark.apache.org/docs/latest/ap ... dData.html
Интересно, возможно ли следующее.
Скажем, я хочу использовать только методы GroupedData и не импортировать какие-либо функции из pyspark.sql.functions.
Хорошо, предположим, что у меня есть DataFrame, и я уже сгруппировал его по столбцу A и получил обратно объект GroupedData.
Теперь я хочу сделать для моего объекта GroupedData команду sum(столбец B) и сказать avg(столбец C) и, возможно, min(столбец D) за один раз или с помощью связанных вызовов методов.
Могу ли я сделать это, просто используя методы GroupedData?
Я спрашиваю об этом, потому что кажется, что после того, как я выполнил sum(столбец B), у меня больше нет объекта GroupedData, и поэтому я не могу продолжать связывать любые GroupedData методы дальше.
И это (то, что я Имейте в виду) возможно или нет?

Если это возможно, то как мы можем это сделать?

Подробнее здесь: https://stackoverflow.com/questions/792 ... on-methods
Ответить

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

Вернуться в «Python»