Как я могу проверить, имеют ли два столбца одинаковый текст в pyspark? ⇐ Python

[Anonymous]

По сути, я собираю данные из двух таблиц и сравниваю их. Некоторые данные поступают из старой таблицы, а другие — из новой таблицы. Краткий пример можно увидеть ниже:




product_id
old_category
new_category




001
Металлические отходы
Металлические детали


002
Автомобильные запчасти
Автомобильные детали


003
Пластиковое крыло
Fender




Есть ли способ сравнить столбцы old_category и new_category, чтобы проверить, насколько они похожи?