Широкие и узкие преобразования в Spark ⇐ Python
-
Гость
Широкие и узкие преобразования в Spark
У меня вопрос: широкие и узкие преобразования Python Spark встречаются как в RDD, так и в структурированных API, верно?
Я имею в виду, я думаю, я уловил разницу между широкими и узкими преобразованиями. Я хочу сказать, являются ли они эксклюзивными для того или иного API Spark Python (независимо от того, RDD это или нет)?
Широкие преобразования:
[*]
Это операции, требующие перетасовки данных между разделами.
[*]
Это означает, что данные необходимо перемещать между исполнительными или рабочими узлами.
[*]
Некоторые примеры масштабных преобразований в Spark включают:
groupBy [*]groupByKey() [*]reduceByKey() [*]агрегировать() [*]aggregateByKey() [*]различать() [*]присоединиться() [*]перераспределение()
Узкие преобразования:
[*]
вычисление данных, которые хранятся в одном разделе, означает, что не будет никакого перемещения данных между разделами для выполнения узких преобразований
[*]
карта()
[*]
фильтр()
Большое спасибо!
У меня вопрос: широкие и узкие преобразования Python Spark встречаются как в RDD, так и в структурированных API, верно?
Я имею в виду, я думаю, я уловил разницу между широкими и узкими преобразованиями. Я хочу сказать, являются ли они эксклюзивными для того или иного API Spark Python (независимо от того, RDD это или нет)?
Широкие преобразования:
[*]
Это операции, требующие перетасовки данных между разделами.
[*]
Это означает, что данные необходимо перемещать между исполнительными или рабочими узлами.
[*]
Некоторые примеры масштабных преобразований в Spark включают:
groupBy [*]groupByKey() [*]reduceByKey() [*]агрегировать() [*]aggregateByKey() [*]различать() [*]присоединиться() [*]перераспределение()
Узкие преобразования:
[*]
вычисление данных, которые хранятся в одном разделе, означает, что не будет никакого перемещения данных между разделами для выполнения узких преобразований
[*]
карта()
[*]
фильтр()
Большое спасибо!