Django + сельдерей + pyspark внутри Docker повышает SystemExit: 1 и NosuchfileException при создании Sparksession ⇐ Python

[Anonymous]

Я запускаю приложение Django, которое использует задачи сельдерея и pyspark в контейнере Docker. Одна из моих задач сельдерея вызывает функцию, которая инициализирует Sparksessession с использованием getorcreate (). Однако, когда это происходит, работник неожиданно выходит из SystemExit: 1 и nosuchfileException. < /P>
Вот соответствующая часть трассировки стека: < /p>

Код: Выделить всё

SystemExit: 1
[INFO] Worker exiting (pid: 66009)
...
WARN NativeCodeLoader: Unable to load native-hadoop library for your platform...
WARN DependencyUtils: Local jar /...antlr4-4.9.3.jar does not exist, skipping.
...
Exception in thread "main" java.nio.file.NoSuchFileException: /tmp/tmpagg4d47k/connection8081375827469483762.info
...
[ERROR] Worker (pid:66009) was sent SIGKILL! Perhaps out of memory?

Как я могу решить проблему


Подробнее здесь: https://stackoverflow.com/questions/796 ... hfileexcep