Загрузите записи из большого файла avro в хранилище Azure. ⇐ Python

[Anonymous]

Я хочу загрузить записи из файла avro, который находится в учетной записи хранения Azure Gen2. Сам файл слишком велик для локальной обработки.
Текущий подход определяется следующим псевдокодом Python

Код: Выделить всё

from io import BytesIO
from avro.datafile import DataFileReader
from avro.io import DatumReader
from azure.storage.filedatalake import DataLakeFileClient

storage_stream = file_client.download_file()
bytes = storage_stream.readall()
stream = BytesIO(bytes)
reader= DataFileReader(stream, DatumReader())

readall() создает проблемы с памятью, поскольку весь файл считывается в память. Любые предложения о том, как я могу изменить и улучшить настройку потоковой передачи запись за записью из файла avro?

Подробнее здесь: https://stackoverflow.com/questions/790 ... re-storage