Преобразование Pyspark DataFrame в Pandas DataFrame не удастся в столбце TimeStam ⇐ Python

[Anonymous]

Я создаю свой pyspark dataframe: < /p>

Код: Выделить всё

from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, StructField, BinaryType, ArrayType, StringType, TimestampType
input_schema = StructType([
StructField("key", StringType()),
StructField("headers", ArrayType(
StructType([
StructField("key", StringType()),
StructField("value", StringType())
])
)),
StructField("timestamp", TimestampType())
])

input_data = [
("key1", [{"key": "header1", "value": "value1"}], datetime(2023, 1, 1, 0, 0, 0)),
("key2", [{"key": "header2", "value": "value2"}], datetime(2023, 1, 1, 0, 0, 0)),
("key3", [{"key": "header3", "value": "value3"}], datetime(2023, 1, 1, 0, 0, 0))
]

df = spark.createDataFrame(input_data, input_schema)

Я хочу использовать Pandas 'assert_frame_equal () , поэтому я хочу преобразовать свой DataFrame в DataFrame Pandas.

Код: Выделить всё

df.toPandas()

будет выбросить TypeError: Casting to Unit Dtype 'DateTime64' не поддерживается. Пройти, например 'DateTime64 [ns]' вместо. Мне нужно, чтобы они остались до 2023-01-01 00:00:00 , а не 2023-01-01 .

Подробнее здесь: https://stackoverflow.com/questions/760 ... amp-column