Как правильно использовать компрессор на Arrow IPC в Java?Apache

Ответить
Anonymous
 Как правильно использовать компрессор на Arrow IPC в Java?

Сообщение Anonymous »

Я знаю, что Arrow IPC может писать с помощью компрессоров, создав модуль записи со связанными параметрами.
Я создал свой модуль записи следующим образом.

Код: Выделить всё

    CompressionCodec.Factory factory = new CommonsCompressionFactory();
CompressionUtil.CodecType ct = CompressionUtil.CodecType.LZ4_FRAME;

writer = new ArrowFileWriter(
root,
provider,
channel,
null,
new IpcOption(),
factory,
ct,
Optional.of(1));

// writer = new ArrowFileWriter(root, provider, channel);
writer.start();

Программа работает, но крайне медленно. Он сжимает данные размером от 200 до 20 МБ примерно за 20 минут.
Раньше я писал его свободно, без компрессоров, поэтому теперь сомневаюсь, правильно ли я его использовал.
Я изучили документацию Arrow по Java; однако я мало что нашел в своем замешательстве.
Я очень ценю любые советы и предложения.

Подробнее здесь: https://stackoverflow.com/questions/787 ... ly-in-java
Ответить

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

Вернуться в «Apache»