Разделить большой набор данных на равные сегменты в pyspark ⇐ Python

[Anonymous]

У меня есть очень большой фрейм данных «df» с 20 миллионами элементов.
Я хочу иметь возможность разделить этот набор данных на сегменты размером 20 КБ каждый. И я хочу, чтобы полученные сегменты были переименованы в «Группа1», «Группа2» и т. д. Вместо того, чтобы кодировать это вручную, я заглянул в Bucketizer, но мне не удалось запустить код. Как бы мне это сделать?
Причина разделения набора данных заключается в том, что базовая функция записи Snowpark может обрабатывать только ограниченный объем данных за раз без тайм-аута.

Подробнее здесь: https://stackoverflow.com/questions/790 ... in-pyspark