Многокадровый файл ZSTD: как перейти к второму файлу и выполнить его потоковую передачу? ⇐ Python

[Anonymous]

Я сжимаю два файла ndjson в многокадровый ZST-файл, где каждый ndjson сжимается в кадр. У меня есть следующие метаданные мета_данные (в виде списка) файла ZST:

Код: Выделить всё

import zstandard as zstd
from pathlib import Path

input_file  = r"E:\Personal projects\tmp\test.zst"
input_file  = Path(output_file)

meta_data = [{'name'                : 'chunk_0.ndjson',
'uncompressed_size'   : 2147473321,
'compressed_offset'   : 0,
'uncompressed_offset' : 0,
'compressed_size'     : 175631248},
{'name'                : 'chunk_1.ndjson',
'uncompressed_size'   : 2147473321,
'compressed_offset'   : 175631248,
'uncompressed_offset' : 2147473321,
'compressed_size'     : 175631248}]

Как мы можем использовать приведенные выше метаданные в Python для поиска chunk_1.ndjson, начала распаковки и потоковой передачи их построчно? Таким образом, нам не нужно

• распаковывать chunk_0.ndjson,
• загружать весь сжатый chunk_1.ndjson в память.

Подробнее здесь: https://stackoverflow.com/questions/798 ... econd-file