Я пытаюсь прочитать, чтобы проверить, существует ли файл в HDFS. Я использую eclipse IDE и имею все необходимые jar-файлы Hadoop и конфигурацию Hadoop в пути к классам. Когда я запускаю программу, я вижу следующее исключение.
java.io.IOException: Couldn't create proxy provider class org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
at org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider.(ConfiguredFailoverProxyProvider.java:93)
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
Может ли кто-нибудь помочь мне решить эту проблему?
Я пытаюсь прочитать, чтобы проверить, существует ли файл в HDFS. Я использую eclipse IDE и имею все необходимые jar-файлы Hadoop и конфигурацию Hadoop в пути к классам. Когда я запускаю программу, я вижу следующее исключение. [code] Configuration conf = new Configuration(true); conf.addResource(new File("core-site.xml").toURI().toURL()); conf.addResource(new File("hdfs-site.xml").toURI().toURL()); conf.addResource(new File("mapred-site.xml").toURI().toURL()); FileSystem hdfs = FileSystem.get(conf); boolean isExists = hdfs.exists(source); [/code] Исключение: [code]java.io.IOException: Couldn't create proxy provider class org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider at org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider.(ConfiguredFailoverProxyProvider.java:93) at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62) [/code] Может ли кто-нибудь помочь мне решить эту проблему?
Я пытаюсь прочитать, чтобы проверить, существует ли файл на HDFS. Я использую Eclipse IDE и имею все необходимые банки Hadoop и конфигурацию Hadoop в пути класса. Когда я выполняю программу, я вижу исключение ниже.
Я пытаюсь прочитать, чтобы проверить, существует ли файл на HDFS. Я использую Eclipse IDE и имею все необходимые банки Hadoop и конфигурацию Hadoop в пути класса. Когда я выполняю программу, я вижу исключение ниже.
Я пытаюсь имитировать файловую систему Hadoop в своем тесте Scala. Есть идеи, как это обойти:
import java.net.URI
import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.fs.FileSystem
import org.junit.Test
import...
Я пытаюсь имитировать файловую систему Hadoop в своем тесте Scala. Есть идеи, как это обойти:
import java.net.URI
import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.fs.FileSystem
import org.junit.Test
import...
I am currently trying to run the start-dfs.sh command
But this is my output
Starting namenodes on Starting datanodes host1-wsl: bash: line 1: /home/khoan/hadoop-3.3.6/bin/hdfs: No such file or directory pdsh@DESKTOP-QURJLF0: host1-wsl: ssh...