Широкие и узкие преобразования в искру ⇐ Python

[Anonymous]

У меня вопрос: широкие и узкие преобразования Python Spark встречаются как в RDD, так и в структурированных API, верно?
Я имею в виду, я думаю, я уловил разницу между широкими и узкими преобразования. Я хочу сказать, являются ли они эксклюзивными для того или иного API Spark Python (независимо от того, RDD это или нет)?
Широкие преобразования:

• Эти операции требуют перетасовки данных между разделами.
• Это означает, что данные необходимо переместить. между исполнительными или рабочими узлами.
• Некоторые примеры широких преобразований в Spark включают:
  
  groupBy
• groupByKey()
• reduceByKey()
• aggregate()
• aggregateByKey()
• distinct()
• join()
• repartition()

Узкие преобразования:

• вычисляют данные, которые находятся в одном разделе. Это означает, что не будет никакого перемещения данных между разделами. выполнять узкие преобразования
• map()
• filter()

Большое спасибо !

Подробнее здесь: https://stackoverflow.com/questions/771 ... s-in-spark