Код: Выделить всё
import lz4.frame
import shutil
input_file = r"E:\Personal Projects\tmp\chunk_0.ndjson"
output_file = r"E:\Personal Projects\tmp\chunk_0.ndjson.lz4"
with open(input_file, "rb") as f, lz4.frame.open(output_file, mode="wb",) as g:
shutil.copyfileobj(f, g)
LZ4 v1.10.0 представляет крупные обновления, объединяющие более 600 коммитов, которые значительно расширяют его возможности. В этой версии на первый план выходит поддержка многопоточности, используя современные многоядерные процессоры для ускорения обработки сжатия и распаковки. Это хорошее обновление для пользователей, желающих оптимизировать производительность в средах с высокой пропускной способностью.
Поддержка многопоточности. Наиболее заметным обновлением этой версии, вероятно, является поддержка многопоточности. Хотя LZ4 исторически славился своей высокоскоростной компрессией, спрос на еще более высокую пропускную способность вырос, особенно с появлением технологий хранения данных nvme, обеспечивающих пропускную способность в несколько ГБ/с.
Многопоточность особенно выгодна для режимов высокого сжатия, которые теперь работают значительно быстрее. Следующая таблица тестов демонстрирует улучшение производительности:
Можем ли мы настроить количество потоков в привязке Python?
Подробнее здесь: https://stackoverflow.com/questions/798 ... of-threads
Мобильная версия