Как создать фрейм данных из входного файла JSON в искре? ⇐ Python

[Anonymous]

Я создаю фрейм данных из загруженного файла json, что приводит к ошибке, связанной с повреждением некоторых данных.
Я использовал spark.read.json("путь к файлу json") для создания фрейма данных. Ошибка:
pyspark.sql.utils.AnalysisException: Since Spark 2.3, the queries from raw JSON/CSV files are disallowed when the
referenced columns only include the internal corrupt record column
(named _corrupt_record by default). For example:
spark.read.schema(schema).csv(file).filter($"_corrupt_record".isNotNull).count()
and spark.read.schema(schema).csv(file).select("_corrupt_record").show().
Instead, you can cache or save the parsed results and then send the same query.
For example, val df = spark.read.schema(schema).csv(file).cache() and then
df.filter($"_corrupt_record".isNotNull).count().


Подробнее здесь: https://stackoverflow.com/questions/762 ... e-in-spark