Spark написать паркет, не записывая никаких файлов, только _success ⇐ Python

[Anonymous]

Приложение включает в себя < /p>

val stats = sqlContext.sql("select id, n from myTable")

stats.write.parquet("myTable.parquet")
< /code>

Это создает dir mytable.parquet < /code> без содержимого, кроме пустого _success < /code>, даже этот < /p>

stats.show // illustration only here, original size motivates parquet use

+-----+----+
| id | n |
+-----+----+
| a | 1 |
| b | 2 |
+-----+----+

stats.printSchema

root
|-- id: string (nullable = true)
|-- n: long (nullable = true)
< /code>

Как сделать write.parquet < /code>, чтобы написать фактическое содержание DataFrame? Чего не хватает?>

Подробнее здесь: https://stackoverflow.com/questions/376 ... ly-success