Как избежать сбоя задачи «Исполнитель» в pyspark?Python

Программы на Python
Ответить Пред. темаСлед. тема
Anonymous
 Как избежать сбоя задачи «Исполнитель» в pyspark?

Сообщение Anonymous »

В настоящее время я тестирую рабочий процесс Spark, написанный на PySpark и работающий в среде Databricks. Все справочные таблицы являются статическими, и в эти таблицы не вносятся никакие обновления. Иногда при выполнении задания возникают сбои, а иногда задание выполняется успешно без каких-либо сбоев. Я уверен, что перекоса нет и памяти у каждого исполнителя достаточно.
Вот мои вопросы:
  • Почему задачи периодически не выполняются?
  • Как проверить журналы сбоев задач в Databricks?
  • Как избежать выполнения задач неудачи?


Подробнее здесь: https://stackoverflow.com/questions/792 ... in-pyspark
Реклама
Ответить Пред. темаСлед. тема

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

  • Похожие темы
    Ответы
    Просмотры
    Последнее сообщение

Вернуться в «Python»