Утечка памяти при распаковке файла .zstdPython

Программы на Python
Ответить
Anonymous
 Утечка памяти при распаковке файла .zstd

Сообщение Anonymous »

Я пытаюсь получить файл .zstd, распаковать его в json и сохранить в хранилище S3.
Мой код работает, но я вижу утечку памяти (см. изображение использования ОЗУ)
Изображение

Размер файла — 300 МБ.
Мой код
import requests
import cramjam

def get_file():
my_session = requests.Session() # more sophisticated code in this line
with my_session as session:
response = session.get(url=url, headers=headers)
logger.info(f"response received uuid={file_uuid}")
return decompress(response.content, compression_algorithm="zstd")

def decompress(content: bytes, archive_type: str = "zstd") -> Dict[str, Any]:
"""Decompress SFP response"""
if archive_type == "zstd":
decompressed_content = bytes(cramjam.zstd.decompress(content)) # convert memoryview to bytes
decompressed_str = decompressed_content.decode('utf-8')
return json.loads(decompressed_str)


Подробнее здесь: https://stackoverflow.com/questions/798 ... ompression
Ответить

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

Вернуться в «Python»