Как проверить столбец данных pyspark на наличие неправильного типа значения с помощью pytest? ⇐ Python

[Anonymous]

Я пытаюсь написать тест, чтобы проверить, есть ли в фрейме данных Spark записи с неверным типом значения, но я застрял.
Есть фрейм данных:

Код: Выделить всё

schema1 = StructType(
[
StructField("id_key", IntegerType(), True),
StructField("country", StringType(), True),
]
)
data_wrong = [(10, "France"), (20, "USA"), (30, 1790), (40, "Germany")]

df = spark_session.createDataFrame(data=data_wrong, schema=schema1)

И теперь я хочу уловить, что в поле страны в третьей записи указан неверный тип данных.
Я пробовал использовать

• Код: Выделить всё

  assert isinstance(df["country"], str)

• Код: Выделить всё

  assert isinstance(df.select("country"), str)

• Прокрутка столбцов и проверка их типов:

Код: Выделить всё

for c in df.columns:
if df[c].dtype != 'string':
print("Error")

конечно, ни один из них не работает, и у меня нет идей. Пожалуйста, помогите

Подробнее здесь: https://stackoverflow.com/questions/792 ... ing-pytest