Потоковая передача Spark с помощью Python: как добавить столбец UUID? ⇐ Python

[Anonymous]

Я хотел бы добавить столбец со сгенерированным идентификатором в свой фрейм данных. Я пробовал:

Код: Выделить всё

uuidUdf = udf(lambda x: str(uuid.uuid4()), StringType())
df = df.withColumn("id", uuidUdf())

однако, когда я это делаю, в мой выходной каталог ничего не записывается. Когда я удаляю эти строки, все работает нормально, поэтому должна быть какая-то ошибка, но я ничего не вижу в консоли.

Я пробовал использовать monotonically_increasing_id() вместо генерации UUID, но в ходе моего тестирования это привело к появлению большого количества дубликатов. Мне нужен уникальный идентификатор (не обязательно UUID).

Как я могу это сделать?

Подробнее здесь: https://stackoverflow.com/questions/497 ... uid-column