Преобразование кода слияния pandas в соединение pyspark ⇐ Python

[Anonymous]

У меня небольшая проблема с pyspark. Я пытаюсь переписать код из pandas, где у меня есть:

Код: Выделить всё

df.merge(df2, how="outer", left_on=["b"], right_on=["b"])

И у меня есть столбцы b, a_x и a_y. Но когда я делаю это в pyspark, например:

Код: Выделить всё

df.join(df2, how="outer", on=["b"])

У меня есть b, a и a. Когда я пытаюсь выполнить df.select("a"), у меня возникает ошибка: ссылка "a" неоднозначна. Что я сделал не так?

Подробнее здесь: https://stackoverflow.com/questions/791 ... spark-join