У меня есть работы Pyspark, работающие в AWS EMR. Недавно я обновил (AWS EMR 6.4, Spark 3.1.2) и переключился на работу в задаче в контейнере Docker. С тех пор в журналах STDOUT есть спорадические дамбы потока, которые начинаются с полного сброса потока, открытого 64-битного сервера VM (25.312-B07 .
i не смог выяснить, почему они встречаются. В STDERR нет связанных ошибок или предупреждений, и работа не затронута. Тем не менее, эти дамбы потока затрудняют чтение журналов STDOUT, и я не смог выяснить, почему они происходят. Вещи, которые я пробовал, включают в себя использование предыдущих версий AWS/EMR и даже более простых конфигураций EMR, так как я подозревал, что AWS EMR отправляет Sigquit где -то, так как я ничего не нашел в источнике Spark, который это сделает (кроме как в Дампы потоков, инициированные пользовательским интерфейсом Spark, и считывателем задач Spark, который отключен). < /p>
В растет, что делать, я бы ушел в отставку, чтобы указать JVM перенаправить эти дампы потоков Или даже игнорируйте сигнал для них, если это вариант. Я открыт для альтернативных предложений.
Я знаю о -xrs , но я подозреваю Код>.
Подробнее здесь: https://stackoverflow.com/questions/720 ... tdout-logs
