Стратифицированная выборка с использованием нескольких столбцов Pyspark ⇐ Python

[Anonymous]

У меня есть кадр данных с миллионами регистров, вот так:

Код: Выделить всё

CLI_ID OCCUPA_ID DIG_LABEL
125    2705      1
328    2708      7
400    2712      1
401    2705      2
525    2708      1

Я хочу взять случайную выборку из 100 тыс. строк, содержащую 70% из 2705, 20% из 2708, 10% из 2712 из OCCUPA_ID и 50% из 1, 20% из 2 и 30% из 7 из DIG_LABEL.
Как я могу получить это в Spark, используя писпарк?

Подробнее здесь: https://stackoverflow.com/questions/751 ... es-columns