Мы используем Spark StandAlone 2.3.2 и logback-core/logback-classic с 1.2.3
Имеем очень простой файл конфигурации Logback, который позволяет нам записать данные в определенный каталог, а локально я могу передать параметры виртуальной машины из редактора
-Dlogback.configurationFile="C:\path\logback-local.xml"
и он работает и регистрируется правильно.
В автономном режиме Spark я пытаюсь передать аргументы, используя внешнюю ссылку< /p>
spark-submit
--master spark://127.0.0.1:7077
--driver-java-options "-Dlog4j.configuration=file:/path/logback.xml"
--conf "spark.executor.extraJavaOptions=-Dlogback.configurationFile=file:/path/logback.xml"
Вот файл конфигурации (немного преобразованный), проверены фактические пути, и они существуют, есть идеи, в чем может быть проблема в кластере. Я проверил переменные среды в пользовательском интерфейсе Spark, и они одинаковы для параметров драйвера и исполнителя.
Есть ли потенциальные проблемы при совместном использовании Logback и Spark StandAlone?
Здесь нет ничего особенного для файла конфигурации, он просто фильтрует данные для журнала json по сравнению с файлом для лучшей визуализации на сервере журналов.
{{ app_log_file_path }}
{{ app_log_dir }}/{{ app_name }}.%d{yyyy-MM-dd}.%i.log.gz
100MB
90
10GB
%d [%thread] %-5level %logger{36} %X{user} - %msg%n
return message.contains("timeStamp") &&
message.contains("logLevel") &&
message.contains("sourceLocation") &&
message.contains("exception");
DENY
NEUTRAL
{{ app_json_log_file_path }}
{{ app_log_dir }}/{{ app_name }}_json.%d{yyyy-MM-dd}.%i.log.gz
100MB
90
10GB
%msg%n
Подробнее здесь: https://stackoverflow.com/questions/560 ... standalone
