Как правильно использовать компрессор на Arrow IPC в Java?Apache

Anonymous
Как правильно использовать компрессор на Arrow IPC в Java?

Сообщение Anonymous »

Я знаю, что Arrow IPC может писать с помощью компрессоров, создав модуль записи со связанными параметрами.
Я создал свой модуль записи следующим образом.

Код: Выделить всё

    CompressionCodec.Factory factory = new CommonsCompressionFactory();
CompressionUtil.CodecType ct = CompressionUtil.CodecType.LZ4_FRAME;

writer = new ArrowFileWriter(
root,
provider,
channel,
null,
new IpcOption(),
factory,
ct,
Optional.of(1));

// writer = new ArrowFileWriter(root, provider, channel);
writer.start();

Программа работает, но крайне медленно. Он сжимает данные размером от 200 до 20 МБ примерно за 20 минут.
Раньше я писал его свободно, без компрессоров, поэтому теперь сомневаюсь, правильно ли я его использовал.
Я изучили документацию Arrow по Java; однако я мало что нашел в своем замешательстве.
Я очень ценю любые советы и предложения.

Подробнее здесь: https://stackoverflow.com/questions/787 ... ly-in-java

Вернуться в «Apache»