Как ускорить операцию повторения первых n строк для каждой группы после group_by?Python

Программы на Python
Ответить Пред. темаСлед. тема
Anonymous
 Как ускорить операцию повторения первых n строк для каждой группы после group_by?

Сообщение Anonymous »

Файл df содержит 100 миллионов строк, а столбцов group_by — около 25–30. Есть ли способ ускорить эту операцию отсюда? или это лучшее, что я могу получить.
import polars as pl
import numpy as np

rows = 100000000
n_cols = 30
df = pl.DataFrame(np.random.randint(0, 100, size=(n_cols, rows)), schema=[str(col_i) for col_i in range(n_cols)])
First_n_rows_list = [1,2,3]

df = df.sort('col_0').group_by([“col_”+str(i) for i in range(1, n_cols)])
result = pl.concat([df.head(First_n_rows).with_columns(pl.lit(First_n_rows).alias('First_n_rows').cast(pl.Int8)) for First_n_rows in First_n_rows_list])


Подробнее здесь: https://stackoverflow.com/questions/793 ... group-afte
Реклама
Ответить Пред. темаСлед. тема

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

  • Похожие темы
    Ответы
    Просмотры
    Последнее сообщение

Вернуться в «Python»