Широкие и узкие преобразования в искруPython

Программы на Python
Ответить
Anonymous
 Широкие и узкие преобразования в искру

Сообщение Anonymous »

У меня есть вопрос: широкие и узкие преобразования Python Spark, найденные как в RDD, так и в структурированных API, верно? преобразования. Я хочу сказать, что они эксклюзивны для того или другого API Python Spark (будь то RDD или нет)? < /P>
Широкие преобразования: < /p>
  • Это операции, которые требуют перетасовки данных по разделам. Между узлами исполнителя или рабочих. /> GroupBy
  • GroupBykey ()
  • ReductyBykey ()
    aggerate ()
    AggregateBykey () < /li>
    inform () < /li>
    join () < /li>
    repartition () < /li>
    < /ul>
    < /li>
    < /ul>
    Узкие преобразования: < /p>

    Вычислить данные, которые живут в одном разделе > map () < /p>
    < /li>
    filter () < /p>
    < /li>
Большое спасибо!

Подробнее здесь: https://stackoverflow.com/questions/771 ... s-in-spark
Ответить

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

Вернуться в «Python»