Выбрать случайные строки из кадра данныхPython

Программы на Python
Ответить
Anonymous
 Выбрать случайные строки из кадра данных

Сообщение Anonymous »

У меня есть три фрейма данных, которые я объединил, чтобы создать один фрейм данных.

Код: Выделить всё

df_1 = df_1.withColumn('idx', monotonically_increasing_id())
df_2 = df_2.withColumn('idx', monotonically_increasing_id())
df_3 = df_3.withColumn('DATE', to_timestamp('DATE')) \
.withColumn('idx', monotonically_increasing_id())

merged_df = df_1.join(df_2, ['idx']).join(df_3, ['idx']).drop('idx')
И я хочу получить из него набор случайных строк.
Я не выполняю никакой сортировки для фреймов данных, кроме случаев, когда я использую предел

Код: Выделить всё

random_choices_df = merged_df.limit(10)
random_choices_df.show()

Код: Выделить всё

showФункция 
всегда отображает одни и те же элементы в одном и том же порядке.
Как получить случайный набор строк? Я думал, что limit должен это делать, но по какой-то причине он сохраняет порядок элементов. Я работаю на одной машине.
Ответить

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

Вернуться в «Python»