Проблема с HDF с Java API - Hadoop ⇐ JAVA

[Anonymous]

Мой журнал проблемы - Belows: < /p>
log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/shaded/org/apache/commons/collections/map/LinkedMap
at org.apache.hadoop.hdfs.shortcircuit.ShortCircuitCache.(ShortCircuitCache.java:305)
at org.apache.hadoop.hdfs.shortcircuit.ShortCircuitCache.fromConf(ShortCircuitCache.java:376)
at org.apache.hadoop.hdfs.ClientContext.(ClientContext.java:170)
at org.apache.hadoop.hdfs.ClientContext.get(ClientContext.java:216)
at org.apache.hadoop.hdfs.DFSClient.(DFSClient.java:405)
at org.apache.hadoop.hdfs.DFSClient.(DFSClient.java:308)
at org.apache.hadoop.hdfs.DistributedFileSystem.initDFSClient(DistributedFileSystem.java:204)
at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:189)
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:3611)
at org.apache.hadoop.fs.FileSystem.access$300(FileSystem.java:174)
at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:3712)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:3663)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:557)
at org.apache.hadoop.fs.FileSystem$1.run(FileSystem.java:278)
at org.apache.hadoop.fs.FileSystem$1.run(FileSystem.java:275)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1899)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:275)
at hdfsutil.HdfsUtil.main(HdfsUtil.java:20)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.shaded.org.apache.commons.collections.map.LinkedMap
at java.net.URLClassLoader.findClass(URLClassLoader.java:387)
at java.lang.ClassLoader.loadClass(ClassLoader.java:418)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:359)
at java.lang.ClassLoader.loadClass(ClassLoader.java:351)
... 20 more
< /code>
Я столкнулся с некоторыми проблемами при использовании Hadoop в Java, пытаясь загрузить файлы в HDFS. Я представил сообщение об ошибке в CHATGPT и получил ответ, предполагающий, что мне нужно установить COMNOMS-COLLECTIONS-4.4.4 JAR (версия, включенная в Hadoop 3.3.6, является Commons-Collections-3.3.2). Также было предложено изменить зависимость в pom.xml пакета JAR. Поэтому я не могу отредактировать файл pom.xml в Eclipse. < /p>
Другая информация:
hadoop's версия: 3.3.6
java версия: JDK 1.8
Развернуть Hadoop в Linux, используя API клиента Java в Windows. /> < /p>
Как я могу решить эту проблему? Спасибо.

Подробнее здесь: https://stackoverflow.com/questions/793 ... api-hadoop