Распределение памяти Apache Spark ⇐ JAVA

Программисты JAVA общаются здесь
Ответить
Anonymous
 Распределение памяти Apache Spark

Сообщение Anonymous »

Я использую установку Spark с одним узлом для преобразования большого количества файлов JSON (общий размер: 11 ГБ) в файл Parquet. В настоящее время я выделил 6 ГБ для драйвера и 4 ГБ для исполнителя, но возникают ошибки нехватки памяти.
Какое рекомендуемое выделение памяти для драйвера и исполнитель в этом сценарии?

Подробнее здесь: https://stackoverflow.com/questions/790 ... allocation
Вернуться к началу
Ответить

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

Вернуться в «JAVA»