Мобильная версияВот мои вопросы:
- Почему задачи периодически не выполняются?
- Как проверить журналы сбоев задач в Databricks?
- Как избежать выполнения задач неудачи?
Подробнее здесь: https://stackoverflow.com/questions/792 ... in-pyspark
Как избежать сбоя задачи в pyspark? ⇐ Python
-
Anonymous
Как избежать сбоя задачи в pyspark?
В настоящее время я тестирую рабочий процесс Spark, написанный на PySpark и работающий в среде Databricks. Все справочные таблицы являются статическими, и в эти таблицы не вносятся никакие обновления. Иногда при выполнении задания возникают сбои, а иногда задание выполняется успешно без каких-либо сбоев. Я уверен, что перекоса нет и памяти у каждого исполнителя достаточно.
Вот мои вопросы:
Подробнее здесь: https://stackoverflow.com/questions/792 ... in-pyspark
Вот мои вопросы:
Подробнее здесь: https://stackoverflow.com/questions/792 ... in-pyspark
