Клиентская библиотека Java Hadoop поддерживает базовую аутентификацию ⇐ JAVA

[Anonymous]

У меня есть кластер Cloudera под шлюзом Knox с базовой аутентификацией (имя пользователя/пароль). Я хочу получить доступ к HDF (SWEBHDFS) через SSL (HTTPS), используя клиентскую библиотеку Java Apache Hadoop (клиент Apache Hadoop Aggregator »3.4.1). Используя схему SWEBHDFS, я вижу, что используется HTTPS, но я не могу найти способ использовать базовую аутентификацию. Configuration conf = new Configuration();

conf.set("fs.defaultFS", "swebhdfs://...");
conf.setBoolean("dfs.webhdfs.enabled", true);
conf.set("fs.webhdfs.impl", "org.apache.hadoop.hdfs.web.SWebHdfsFileSystem");
conf.set("hadoop.security.authentication", "simple");
conf.set("dfs.http.policy", "HTTPS_ONLY");

FileSystem fs = FileSystem.get(conf);
fs.listStatus(new Path("/"));
< /code>
С приведенным выше кодом я получаю ошибку неожиданного ответа http: code = 302! = 200, op = listStatus, message = найдено
Это связано с тем, что, поскольку базовая аутентификация не присутствует и Hadoop-Jwt Cokie не существует, Knox пытается перенаправить в знак < /pt.>

Подробнее здесь: https://stackoverflow.com/questions/795 ... entication