Как подключиться к удаленным HDFJAVA

Программисты JAVA общаются здесь
Ответить
Anonymous
 Как подключиться к удаленным HDF

Сообщение Anonymous »

Я пытаюсь подключиться к экземпляру HDFS, работающему на удаленной машине. Вот что я попробовал < /p>

Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://remoteHostName:portNumber");
DFSClient client = null;
System.out.println("try");
try
{
System.out.println("trying");
client = new DFSClient(conf);

System.out.println(client);
}
catch (IOException e) {

e.printStackTrace();
}

finally {
if(client!=null)
try {
client.close();
} catch (IOException e) {

e.printStackTrace();
}

}
< /code>

Но это дает мне следующее исключение < /p>

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.ipc.RPC.getProxy(Ljava/lang/Class;JLjava/net/InetSocketAddress;Lorg/apache/hadoop/security/UserGroupInformation;Lorg/apache/hadoop/conf/Configuration;Ljavax/net/SocketFactory;ILorg/apache/hadoop/io/retry/RetryPolicy;Z)Lorg/apache/hadoop/ipc/VersionedProtocol;
at org.apache.hadoop.hdfs.DFSClient.createRPCNamenode(DFSClient.java:135)
at org.apache.hadoop.hdfs.DFSClient.(DFSClient.java:280)
at org.apache.hadoop.hdfs.DFSClient.(DFSClient.java:245)
at org.apache.hadoop.hdfs.DFSClient.(DFSClient.java:235)
at org.apache.hadoop.hdfs.DFSClient.(DFSClient.java:226)
< /code>

Кстати, я получил Portnumber от hdfs-site.xml на удаленной машине < /p>

Этот подход правильный? < /p>

Кроме того, было бы легче сделать это в Python? Может ли это вызвать проблему?

Подробнее здесь: https://stackoverflow.com/questions/336 ... emote-hdfs
Ответить

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

Вернуться в «JAVA»