Данные: < /p>
{"name": "name1", "id": 1}
{"name": "name2", "id": "1"}
< /code>
Код: < /p>
val schema =
"""
| name STRING,
| id BIGINT
|""".stripMargin
spark.read.schema(schema).json("my_path").show
< /code>
output: < /p>
+-----+----+
| name| id|
+-----+----+
|name1| 1|
|name2|null|
+-----+----+
< /code>
Код: < /p>
spark.read.json("my_path").printSchema()
< /code>
output: < /p>
root
|-- id: string (nullable = true)
|-- name: string (nullable = true)
< /code>
Почему я получил значение как значение? Оо, почему это не провалилось? Есть ли способ быстро потерпеть неудачу с несоответствием схемы?
Подробнее здесь: https://stackoverflow.com/questions/796 ... ong-schema
