PySpark и большие данныеJAVA

Программисты JAVA общаются здесь
Ответить
Anonymous
 PySpark и большие данные

Сообщение Anonymous »

Я запускаю приложение с бэкэнд Pyspark и передней частью потоковой связи, которая может получать запросы и обеспечивать вывод. В частности, у меня есть набор данных из 12.gb памяти в формате паркета, но когда я пытаюсь запустить сеанс Spark, например, GetDateof всегда дает мне следующую ошибку: пространство кучи Java. Как исправить эту ошибку? Заранее спасибо.
Я ожидал, что приложение будет работать, и вместо этого оно дает мне ошибку

Подробнее здесь: https://stackoverflow.com/questions/793 ... d-big-data
Ответить

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

Вернуться в «JAVA»