Databricks: проблема при создании искрового фрейма данных из pandas. ⇐ Python

[Anonymous]

У меня есть фрейм данных pandas, который я хочу преобразовать в фрейм данных Spark. Обычно я использую приведенный ниже код для создания кадра данных искры из панд, но внезапно я начал получать следующую ошибку: я знаю, что панды удалили iteritems(), но моя текущая версия панд - 2.0.0, и я также пытался установил меньшую версию и попытался создать искру df, но все равно получаю ту же ошибку. Ошибка вызывается внутри функции spark. Каково решение этой проблемы? какую версию pandas мне следует установить, чтобы создать искру df. Я также пытался изменить время выполнения блоков данных кластера и попытался запустить их повторно, но все равно получаю ту же ошибку.
import pandas as pd
spark.createDataFrame(pd.DataFrame({'i':[1,2,3],'j':[1,2,3]}))

error:-
UserWarning: createDataFrame attempted Arrow optimization because 'spark.sql.execution.arrow.pyspark.enabled' is set to true; however, failed by the reason below:
'DataFrame' object has no attribute 'iteritems'
Attempting non-optimization as 'spark.sql.execution.arrow.pyspark.fallback.enabled' is set to true.
warn(msg)
AttributeError: 'DataFrame' object has no attribute 'iteritems'


Подробнее здесь: https://stackoverflow.com/questions/759 ... rom-pandas