Широкие и узкие преобразования в SparkPython

Программы на Python
Гость
Широкие и узкие преобразования в Spark

Сообщение Гость »


У меня вопрос: широкие и узкие преобразования Python Spark встречаются как в RDD, так и в структурированных API, верно?

Я имею в виду, я думаю, я уловил разницу между широкими и узкими преобразованиями. Я хочу сказать, являются ли они эксклюзивными для того или иного API Spark Python (независимо от того, RDD это или нет)?

Широкие преобразования:
[*]
Это операции, требующие перетасовки данных между разделами.
[*]
Это означает, что данные необходимо перемещать между исполнительными или рабочими узлами.
[*]
Некоторые примеры масштабных преобразований в Spark включают:
groupBy [*]groupByKey() [*]reduceByKey() [*]агрегировать() [*]aggregateByKey() [*]различать() [*]присоединиться() [*]перераспределение()
Узкие преобразования:
[*]
вычисление данных, которые хранятся в одном разделе, означает, что не будет никакого перемещения данных между разделами для выполнения узких преобразований
[*]
карта()
[*]
фильтр()

Большое спасибо!

Вернуться в «Python»