В настоящее время я пытаюсь настроить Apache Drill с помощью поддержки плагинов S3 (Minio), но сбои буровых устройств во время запуска или использования плагинов со следующей ошибкой: < /p>
Exception in thread "main" java.lang.NoClassDefFoundError: Could not initialize class org.apache.hadoop.security.SecurityUtil
at org.apache.hadoop.security.UserGroupInformation.initialize(UserGroupInformation.java:316)
at org.apache.hadoop.security.UserGroupInformation.ensureInitialized(UserGroupInformation.java:304)
...
< /code>
Сообщение об ошибке "JSON не Thang". Также появляется прямо перед сбоем, который, по -видимому, является внутренним журналом Drill, но не связана с основной причиной. />[*]Java version: openjdk version "11.0.27" 2025-04-15
[*]Storage plugin configured for: s3a:// with MinIO backend
[*]Relevant change: I added a custom storage plugin JSON with type: file and connection s3a:// (bucket via workspace)
Что я попробовал:
[*] Проверьте, что Minio Endpoint Works (curl http: //: 9000 return 403 accessded, что ожидается без учетных данных)
Правильно < /li>
Раздел «Удаленные форматы», чтобы исключить проблемы с плагинами json < /li>
Журналы Drillbit Не дают гораздо больше информации, чем Java Stacktrace < /li>
< /ul>
подозрения /отладки: < /strong>
это связано с зависимостью или нагрузкой на класс или нагрузке. На основании ошибки класс org.apache.hadoop.security.securityutil не инициализируется. Я нашел в Интернете некоторые намеки на то, что это может быть: < /p>
Отсутствие hadoop Jar < /li>
Конфликт в классе (например, смешивание несовместимых версий Hadoop) < /li>
Проблема совместимости Java? /> Вопросы: < /strong> < /p>
Мне нужно добавить дополнительные библиотеки Hadoop вручную для тренировки (для s3a)? /> Могу ли я заставить тренировку для пропуска SecurityUtil (я не использую kerberos)? < /li>
Поможет ли использование конфигурации fs.s3a.impl конфигурации?{
"type": "file",
"enabled": true,
"connection": "s3a://",
"config": {
"fs.s3a.access.key": "...",
"fs.s3a.secret.key": "...",
"fs.s3a.endpoint": "...",
"fs.s3a.path.style.access": "true",
"fs.s3a.connection.ssl.enabled": "false"
},
"workspaces": {
"root": {
"location": "...",
"writable": false
}
}
}
< /code>
Рад предоставить больше журналов или попробовать предложенные решения. Заранее спасибо!
Подробнее здесь: https://stackoverflow.com/questions/796 ... security-s
