Ведение журнала с использованием Logback в автономном режиме Spark ⇐ JAVA

[Anonymous]

Мы используем Spark StandAlone 2.3.2 и logback-core/logback-classic с 1.2.3

Имеем очень простой файл конфигурации Logback, который позволяет нам записать данные в определенный каталог, а локально я могу передать параметры виртуальной машины из редактора

-Dlogback.configurationFile="C:\path\logback-local.xml"


и он работает и регистрируется правильно.

В автономном режиме Spark я пытаюсь передать аргументы, используя внешнюю ссылку< /p>

spark-submit
--master spark://127.0.0.1:7077
--driver-java-options "-Dlog4j.configuration=file:/path/logback.xml"
--conf "spark.executor.extraJavaOptions=-Dlogback.configurationFile=file:/path/logback.xml"


Вот файл конфигурации (немного преобразованный), проверены фактические пути, и они существуют, есть идеи, в чем может быть проблема в кластере. Я проверил переменные среды в пользовательском интерфейсе Spark, и они одинаковы для параметров драйвера и исполнителя.

Есть ли потенциальные проблемы при совместном использовании Logback и Spark StandAlone?
Здесь нет ничего особенного для файла конфигурации, он просто фильтрует данные для журнала json по сравнению с файлом для лучшей визуализации на сервере журналов.



{{ app_log_file_path }}


{{ app_log_dir }}/{{ app_name }}.%d{yyyy-MM-dd}.%i.log.gz
100MB
90
10GB


%d [%thread] %-5level %logger{36} %X{user} - %msg%n






return message.contains("timeStamp") &&
message.contains("logLevel") &&
message.contains("sourceLocation") &&
message.contains("exception");


DENY
NEUTRAL

{{ app_json_log_file_path }}


{{ app_log_dir }}/{{ app_name }}_json.%d{yyyy-MM-dd}.%i.log.gz
100MB
90
10GB


%msg%n












Подробнее здесь: https://stackoverflow.com/questions/560 ... standalone