Как читать коллекцию Azure CosmosDb в Databricks и записывать в Spark DataFrame ⇐ Python

[Anonymous]

Я запрашиваю коллекцию CosmosDb и могу распечатать результаты. Когда я пытаюсь сохранить результаты в Spark DataFrame, это не удается.

Ссылался на этот сайт в качестве примера:

Как читать данные из Azure CosmosDB в Python

Выполнили точные шаги по ссылке выше. Кроме того, попробуйте следующее

Код: Выделить всё

 df = spark.createDataFrame(dataset)

Это вызывает следующую ошибку:


ValueError: некоторые типы не могут быть определены после вывода

ValueError
Traceback (последний вызов, последний)

в ()

25 print (набор данных)

26

---> 27 df = spark.createDataFrame(набор данных)

28 df.show()

29

/databricks/spark/python/pyspark/sql/session.py в createDataFrame(self, data,schema, sampleRatio,verifySchema)

808 rdd, Schema = self._createFromRDD(data.map(prepare), Schema, SampleRatio)

809 else:

--> 810 rdd , Schema = self._createFromLocal(map(prepare, data), Schema)

811 jrdd = self._jvm.SerDeUtil.toJavaArray(rdd._to_java_object_rdd())

812 jdf = self._jsparkSession.applySchemaToPythonRDD(jrdd.rdd(), Schema.json())

/databricks/spark/python/pyspark/sql/session.py в _createFromLocal(self, data, Schema)

440 запись временных файлов.

441 """

--> 442 данных, схема = self ._wrap_data_schema(данные, схема)

443 return self._sc.parallelize(данные), схема


Но если вы хотите сохранить это как Spark DataFrame

, мы будем очень признательны за любую помощь. спасибо!!!>

Подробнее здесь: https://stackoverflow.com/questions/559 ... rk-datafra