Как читать большие zip-файлы в pyspark ⇐ Python

[Anonymous]

У меня есть n ZIP-файлов на s3, которые я хочу обработать и извлечь из них некоторые данные. zip-файлы содержат один файл JSON. В Spark мы можем читать файлы .gz, но я не нашел способа читать данные в файлах .zip. Может кто-нибудь помочь мне, как я могу обрабатывать большие zip-файлы через Spark с помощью Python. Я наткнулся на некоторые варианты, такие как newAPIHadoopFile, но мне с ними не повезло, и я не нашел способа реализовать их в pyspark. Обратите внимание: размер zip-файлов превышает 1 ГБ, некоторые также имеют размер 20 ГБ.

Ниже приведен код, который я использовал:

import zipfile
import io
file_name = "s3 file path for zip file"

def zip_extract(x):
in_memory_data = io.BytesIO(x[1])
file_obj = zipfile.ZipFile(in_memory_data, "r")
files = [i for i in file_obj.namelist()]
return dict(zip(files, [file_obj.open(file).read() for file in files]))

zips = sc.binaryFiles(file_name)
files_data = zips.map(zip_extract)


Но это не удается по следующей причине. Я использую экземпляр r42x.large.

Exit code: 52
Stack trace: ExitCodeException exitCode=52:
Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.runJob.
: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 0.0 failed 4 times, most recent failure: Lost task 0.3 in stage 0.0


Подробнее здесь: https://stackoverflow.com/questions/554 ... in-pyspark