Как быстро скопировать большие двоичные объекты Azure в Python ⇐ Python

[Anonymous]

Мне нужно скопировать около 1000 больших двоичных объектов за раз из одной учетной записи хранения в другую. Размер каждого большого двоичного объекта составляет примерно от 100 до 1000 МБ. Каждый большой двоичный объект переименовывается, поэтому я не могу массово копировать большие двоичные объекты с использованием общего префикса.
Я выбрал подход, заключающийся в использовании BlobClient.start_copy_from_url() для создания асинхронную операцию копирования для каждого большого двоичного объекта и дождитесь их завершения. Проблема в том, что копирование блоков таким образом занимает несколько часов. Похоже, что операции выполняются пакетами примерно по 6 операций за раз, что заставляет меня думать, что есть что-то, что препятствует параллельной обработке большего количества операций.
Для сравнения, для хранилища требуется около 5 минут. Explorer для копирования одних и тех же больших двоичных объектов между учетными записями хранения.
Как Storage Explorer так быстро копирует файлы и есть ли способ ускорить копирование больших двоичных объектов моим сценарием Python?
Мой код по сути похож на этот:
active_jobs=[]
for job in pending_jobs: # 1000 pending jobs
job.target=job.target_client.get_blob_client(job.target_path)
source=job.source_client.get_blob_client(job.source_path)
job.target.start_copy_from_url(source.url)
active_jobs.append(job)

while active_jobs:
for job in active_jobs:
status=job.target.get_blob_properties().copy.status
if status=="success":
job.done=True
print("Job done")
active_jobs=[job for job in active_jobs if not job.done]


Подробнее здесь: https://stackoverflow.com/questions/775 ... -in-python