Чтение огромных данных из запросов и сохранение их в файл. Это работает для данных размером < 1 ГБ, но для объемов данных более 1–5 ГБ это занимает очень много времени, и я не видел данных, сохраненных в файл, что приводит к ошибкам подключения.
Фрагмент кода, который я пробовал:
Код: Выделить всё
with request.get(url....) as r:
with open(file ,‘wb’) as f:
for chunk in r.iter_content(chunk_size = 10000):
if chunk:
f.write(chunk)
f.flush()
Любые предложения по ускорению процесса загрузки и сохранению его в файле будут полезны. Я пробовал использовать другой размер фрагмента и сбрасывать комментарии, но особого улучшения не произошло.
Код: Выделить всё
with request.get(url....) as r:
with open(file ,‘wb’) as f:
for chunk in r.iter_content(chunk_size = 10000):
if chunk:
f.write(chunk)
f.flush()
Это дает результаты для данных размером менее 1 ГБ, но для данных размером более 1 ГБ это занимает огромное время и дает ошибку соединения с источником, откуда мы получили данные с помощью запросов.
