У меня есть вопрос: широкие и узкие преобразования Python Spark, найденные как в RDD, так и в структурированных API, верно? преобразования. Я хочу сказать, что они эксклюзивны для того или другого API Python Spark (будь то RDD или нет)? < /P>
Широкие преобразования: < /p>
Это операции, которые требуют перетасовки данных по разделам. Между узлами исполнителя или рабочих. /> GroupBy
У меня есть вопрос: широкие и узкие преобразования Python Spark, найденные как в RDD, так и в структурированных API, верно? преобразования. Я хочу сказать, что они эксклюзивны для того или другого API Python Spark (будь то RDD или нет)? < /P> Широкие преобразования: < /p> [list] [*] Это операции, которые требуют перетасовки данных по разделам. Между узлами исполнителя или рабочих. /> GroupBy [*] GroupBykey () [*] ReductyBykey () aggerate () AggregateBykey () < /li> inform () < /li> join () < /li> repartition () < /li> < /ul> < /li> < /ul> Узкие преобразования: < /p>
Вычислить данные, которые живут в одном разделе > map () < /p> < /li> filter () < /p> < /li> [/list] Большое спасибо!