и я пытаюсь использовать новый соединитель «File Connector» для записи в файл паркета. Я создал простые задания, взятые из teradata в качестве источника, и записал в файл паркета в качестве цели.
Изображение задания
но столкнулся с ошибкой ниже:
Код: Выделить всё
> File_Connector_20,0: java.lang.NoClassDefFoundError: org.apache.hadoop.fs.FileSystem
at java.lang.J9VMInternals.prepareClassImpl (J9VMInternals.java)
at java.lang.J9VMInternals.prepare (J9VMInternals.java: 304)
at java.lang.Class.getConstructor (Class.java: 594)
at com.ibm.iis.jis.utilities.dochandler.impl.OutputBuilder. (OutputBuilder.java: 80)
at com.ibm.iis.jis.utilities.dochandler.impl.Registrar.getBuilder (Registrar.java: 340)
at com.ibm.iis.jis.utilities.dochandler.impl.Registrar.getBuilder (Registrar.java: 302)
at com.ibm.iis.cc.filesystem.FileSystem.getBuilder (FileSystem.java: 2586)
at com.ibm.iis.cc.filesystem.FileSystem.writeFile (FileSystem.java: 1063)
at com.ibm.iis.cc.filesystem.FileSystem.process (FileSystem.java: 935)
at com.ibm.is.cc.javastage.connector.CC_JavaAdapter.run (CC_JavaAdapter.java: 444)
https://www.ibm.com/support/knowledgece ... swg.im.iis .conn.s3.usage.doc/topics/amaze_file_formats.html
1 – я загрузил файлы jar в "/ds9/IBM/InformationServer/Server/DSComponents/jars"
2- добавил их в CLASSPATH в агенте.sh, затем перезапустил этап данных.
3- я установил для переменной среды CC_USE_LATEST_FILECC_JARS значение parquet-1.9. 0.jar:orc-2.1.jar.
Я также пытался добавить ПУТЬ К КЛАССУ в качестве переменной среды в задании, но не получилось.
отметив, что я использую Local в файловой системе.
поэтому любые подсказки приветствуются, поскольку я искал много времени назад.
Заранее спасибо,< /п>
Подробнее здесь: https://stackoverflow.com/questions/657 ... nnector-20