Apachi Nifi: процессор PutHDFS не смог записать в HDP2.5.0 HDFS ⇐ JAVA

[Anonymous]

Я использую Apache Nifi 1.28, я настроил Apache Nifi в системе Windows, мой HDP2.5.0 работает на виртуальной машине, я хочу принимать данные из моей локальной файловой системы в службу HDFS > работает в Hortonworks HDP2.5.0. Я выполнил следующие задачи:

• Экспортировал файлы core-site.xml и hdfs-site.xml и поместил их в свой папка apache nifi conf.
• Я предоставил необходимую конфигурацию процессора puthdfs в холсте apache nifi. например ресурсы конфигурации Hadoop локальный путь к файлам core-site.xml и hdfs-site.xml.

Я хочу узнать, нужно ли мне еще предоставить дополнительные файлы Hadoop jar для помещения в папку lib Apache NiFi? Следующие файлы я включил в папку lib, но все равно не могу записать ни одного байта в hdfs. Ниже приведены изображения всех jar-файлов клиентских библиотек Hadoop


Я также прилагаю файл core-site.xml, нужна ли мне какая-либо конкретная конфигурация в hdfs-site.xml, Я перепробовал множество конфигураций, но не смог записать ни одного байта в hdfs. Пожалуйста, п о м о г и т е < / p > < b r / > < c o d e > < b r / > & l t ; p r o p e r t y & g t ; < b r / > & l t ; n a m e & g t ; f s . d e f a u l t F S & l t ; / n a m e & g t ; < b r / > & l t ; v a l u e & g t ; h d f s : / / 1 9 2 . 1 6 8 . 1 3 6 . 1 3 1 : 8 0 2 0 & l t ; / v a l u e & g t ; < b r / > & l t ; f i n a l & g t ; t r u e & l t ; / f i n a l & g t ; < b r / > & l t ; / p r o p e r t y & g t ; < b r / > < b r / > & l t ; p r o p e r t y & g t ; < b r / > & l t ; n a m e & g t ; f s . t r a s h . i n t e r v a l & l t ; / n a m e & g t ; < b r / > & l t ; v a l u e & g t ; 3 6 0 & l t ; / v a l u e & g t ; < b r / > & l t ; / p r o p e r t y & g t ; < b r / > < b r / > & l t ; p r o p e r t y & g t ; < b r / > & l t ; n a m e & g t ; h a . f a i l o v e r - c o n t r o l l e r . a c t i v e - s t a n d b y - e l e c t o r . z k . o p . r e t r i e s & l t ; / n a m e & g t ; < b r / > & l t ; v a l u e & g t ; 1 2 0 & l t ; / v a l u e & g t ; < b r / > & l t ; / p r o p e r t y & g t ; < b r / > < b r / > & l t ; p r o p e r t y & g t ; < b r / > & l t ; n a m e & g t ; h a d o o p . h t t p . a u t h e n t i c a t i o n . s i m p l e . a n o n y m o u s . a l l o w e d & l t ; / n a m e & g t ; < b r / > & l t ; v a l u e & g t ; t r u e & l t ; / v a l u e & g t ; < b r / > & l t ; / p r o p e r t y & g t ; < b r / > < b r / > & l t ; p r o p e r t y & g t ; < b r / > & l t ; n a m e & g t ; h a d o o p . p r o x y u s e r . f a l c o n . g r o u p s & l t ; / n a m e & g t ; < b r / > & l t ; v a l u e & g t ; * & l t ; / v a l u e & g t ; < b r / > & l t ; / p r o p e r t y & g t ; < b r / > < b r / > & l t ; p r o p e r t y & g t ; < b r / > & l t ; n a m e & g t ; h a d o o p . p r o x y u s e r . f a l c o n . h o s t s & l t ; / n a m e & g t ; < b r / > & l t ; v a l u e & g t ; * & l t ; / v a l u e & g t ; < b r / > & l t ; / p r o p e r t y & g t ; < b r / > < b r / > & l t ; p r o p e r t y & g t ; < b r / > & l t ; n a m e & g t ; h a d o o p . p r o x y u s e r . h b a s e . g r o u p s & l t ; / n a m e & g t ; < b r / > & l t ; v a l u e & g t ; * & l t ; / v a l u e & g t ; < b r / > & l t ; / p r o p e r t y & g t ; < b r / > < b r / > & l t ; p r o p e r t y & g t ; < b r / > & l t ; n a m e & g t ; h a d o o p . p r o x y u s e r . h b a s e . h o s t s & l t ; / n a m e & g t ; < b r / > & l t ; v a l u e & g t ; * & l t ; / v a l u e & g t ; < b r / > & l t ; / p r o p e r t y & g t ; < b r / > < b r / > & l t ; p r o p e r t y & g t ; < b r / > & l t ; n a m e & g t ; h a d o o p . p r o x y u s e r . h c a t . g r o u p s & l t ; / n a m e & g t ; < b r / > & l t ; v a l u e & g t ; * & l t ; / v a l u e & g t ; < b r / > & l t ; / p r o p e r t y & g t ; < b r / > < b r / > & l t ; p r o p e r t y & g t ; < b r / > & l t ; n a m e & g t ; h a d o o p . p r o x y u s e r . h c a t . h o s t s & l t ; / n a m e & g t ; < b r / > & l t ; v a l u e & g t ; s a n d b o x . h o r t o n w o r k s . c o m & l t ; / v a l u e & g t ; < b r / > & l t ; / p r o p e r t y & g t ; < b r / > < b r / > & l t ; p r o p e r t y & g t ; < b r / > & l t ; n a m e & g t ; h a d o o p . p r o x y u s e r . h d f s . g r o u p s & l t ; / n a m e & g t ; < b r / > & l t ; v a l u e & g t ; * & l t ; / v a l u e & g t ; < b r / >


hadoop.proxyuser.hdfs.hosts
*



hadoop.proxyuser.hive.groups
*



hadoop.proxyuser.hive.hosts
sandbox.hortonworks.com



hadoop.proxyuser.hue.groups
*



hadoop.proxyuser.hue.hosts
*



hadoop.proxyuser.livy.groups
*



hadoop.proxyuser.livy.hosts
*



hadoop.proxyuser.oozie.groups
*



hadoop.proxyuser.oozie.hosts
sandbox.hortonworks.com



hadoop.proxyuser.root.groups
*



hadoop.proxyuser.root.hosts
sandbox.hortonworks.com



hadoop.security.auth_to_local
DEFAULT



hadoop.security.authentication
simple



hadoop.security.authorization
false



hadoop.security.key.provider.path




io.compression.codec.lzo.class
com.hadoop.compression.lzo.LzoCodec



io.compression.codecs
org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.SnappyCodec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec



io.file.buffer.size
131072



io.serializations
org.apache.hadoop.io.serializer.WritableSerialization



ipc.client.connect.max.retries
50



ipc.client.connection.maxidletime
30000



ipc.client.idlethreshold
8000



ipc.server.tcpnodelay
true



mapreduce.jobtracker.webinterface.trusted
false



net.topology.script.file.name
/etc/hadoop/conf/topology_script.py


hadoop.proxyuser.nifi.groups
*


hadoop.proxyuser.nifi.hosts
*


```


Подробнее здесь: https://stackoverflow.com/questions/791 ... 2-5-0-hdfs