Как правильно использовать компрессор на Arrow IPC в Java?Apache

Ответить Пред. темаСлед. тема
Anonymous
 Как правильно использовать компрессор на Arrow IPC в Java?

Сообщение Anonymous »

Я знаю, что Arrow IPC может писать с помощью компрессоров, создав модуль записи со связанными параметрами.
Я создал свой модуль записи следующим образом.

Код: Выделить всё

    CompressionCodec.Factory factory = new CommonsCompressionFactory();
CompressionUtil.CodecType ct = CompressionUtil.CodecType.LZ4_FRAME;

writer = new ArrowFileWriter(
root,
provider,
channel,
null,
new IpcOption(),
factory,
ct,
Optional.of(1));

// writer = new ArrowFileWriter(root, provider, channel);
writer.start();

Программа работает, но крайне медленно. Он сжимает данные размером от 200 до 20 МБ примерно за 20 минут.
Раньше я писал его свободно, без компрессоров, поэтому теперь сомневаюсь, правильно ли я его использовал.
Я изучили документацию Arrow по Java; однако я мало что нашел в своем замешательстве.
Я очень ценю любые советы и предложения.

Подробнее здесь: https://stackoverflow.com/questions/787 ... ly-in-java
Реклама
Ответить Пред. темаСлед. тема

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

  • Похожие темы
    Ответы
    Просмотры
    Последнее сообщение
  • Как правильно использовать компрессор на Arrow IPC в Java?
    Anonymous » » в форуме JAVA
    0 Ответы
    15 Просмотры
    Последнее сообщение Anonymous
  • Где работает Arrow Arrow в консоли Java?
    Anonymous » » в форуме JAVA
    0 Ответы
    10 Просмотры
    Последнее сообщение Anonymous
  • Как мне прочитать файл `.Arrow` (Apache Arrow Aka Feather V2) файл Python Pandas?
    Anonymous » » в форуме Python
    0 Ответы
    24 Просмотры
    Последнее сообщение Anonymous
  • Как мне прочитать файл `.Arrow` (Apache Arrow Aka Feather V2) файл Python Pandas?
    Anonymous » » в форуме Python
    0 Ответы
    20 Просмотры
    Последнее сообщение Anonymous
  • Как использовать Netlink для многоадресной передачи IPC между пользовательским пространством и пользовательским простран
    Гость » » в форуме Linux
    0 Ответы
    78 Просмотры
    Последнее сообщение Гость

Вернуться в «Apache»