Выберите уникальные пары из Pyspark Dataframe ⇐ Python

[Гость]

Предположим, у меня есть фрейм данных PySpark:

Код: Выделить всё

X Y
1 a
1 b
1 c
2 b
2 a
2 c
3 a
3 c
3 b
4 p

Мне нужно выбрать любую возможную пару X и Y, но одни и те же X и Y не должны повторяться в результате.
Возможный результат 1

Код: Выделить всё

X Y
1 b
2 c
3 a
4 p

Возможный результат 2

Код: Выделить всё

X Y
2 a
1 b
3 c
4 p

Как этого добиться эффективно? Данный кадр данных может быть очень большим.

Подробнее здесь: https://stackoverflow.com/questions/782 ... -dataframe