Ускорение разархивирования файла в Google Cloud Storage (GCS) ⇐ Python

[Anonymous]

Каждый день я получаю целую корзину ZIP-файлов. Частью моего конвейера Python является извлечение их в отдельные CSV-файлы. Однако интересно, есть ли более быстрый способ?
В каждом ZIP-архиве содержится примерно 20 файлов, причем некоторые из них могут иметь довольно большой размер >1 ГБ и, вероятно, со временем будут расти.

Код: Выделить всё

bucket = ""
path = ""

gcp_client = storage.Client()
bucket = gcp_client.bucket(bucket)
blob = bucket.blob(f"{path}/.zip")

zipbytes = io.BytesIO(blob.download_as_string())
with ZipFile(zipbytes, 'r') as selected_zip:
for file in selected_zip.namelist():
file_in_zip = selected_zip.read(file)
blob_new = bucket.blob(f"{path}/{file}")
blob_new.upload_from_string(file_in_zip)

Любые рекомендации приветствуются.


Подробнее здесь: https://stackoverflow.com/questions/798 ... torage-gcs