Python-lz4: как настроить количество потоков?Python

Программы на Python
Ответить
Anonymous
 Python-lz4: как настроить количество потоков?

Сообщение Anonymous »

У меня есть скрипт Python, использующий привязку Python lz4 исходного lz4:

Код: Выделить всё

import lz4.frame
import shutil

input_file = r"E:\Personal Projects\tmp\chunk_0.ndjson"
output_file = r"E:\Personal Projects\tmp\chunk_0.ndjson.lz4"

with open(input_file, "rb") as f, lz4.frame.open(output_file, mode="wb",) as g:
shutil.copyfileobj(f, g)
С https://github.com/lz4/lz4/releases/tag/v1.10.0

LZ4 v1.10.0 представляет крупные обновления, объединяющие более 600 коммитов, которые значительно расширяют его возможности. В этой версии на первый план выходит поддержка многопоточности, используя современные многоядерные процессоры для ускорения обработки сжатия и распаковки. Это хорошее обновление для пользователей, желающих оптимизировать производительность в средах с высокой пропускной способностью.
Поддержка многопоточности. Наиболее заметным обновлением этой версии, вероятно, является поддержка многопоточности. Хотя LZ4 исторически славился своей высокоскоростной компрессией, спрос на еще более высокую пропускную способность вырос, особенно с появлением технологий хранения данных nvme, обеспечивающих пропускную способность в несколько ГБ/с.
Многопоточность особенно выгодна для режимов высокого сжатия, которые теперь работают значительно быстрее. Следующая таблица тестов демонстрирует улучшение производительности:

Можем ли мы настроить количество потоков в привязке Python?

Подробнее здесь: https://stackoverflow.com/questions/798 ... of-threads
Ответить

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

Вернуться в «Python»