Pytest утверждает для сравнения кадров данных pysparkPython

Программы на Python
Anonymous
Pytest утверждает для сравнения кадров данных pyspark

Сообщение Anonymous »


У меня есть 2 фрейма данных pyspark, как показано в прикрепленном файле. ожидаемый_df и фактический_df


Изображение


В моем модульном тесте я пытаюсь проверить, равны ли оба значения.

для которого мой код

expected = map(лямбда-строка: row.asDict(), ожидаемый_df.collect()) фактическое = карта (лямбда-строка: row.asDict(), actaual_df.collect()) утверждать ожидаемое = фактическое Поскольку оба файла dfs одинаковы, но порядок строк разный, поэтому утверждение здесь не выполняется. Как лучше всего сравнить такие dfs.

Вернуться в «Python»