Файл df содержит 100 миллионов строк, а столбцов group_by — около 25–30. Есть ли способ ускорить эту операцию отсюда? или это лучшее, что я могу получить.
import polars as pl
import numpy as np
rows = 100000000
n_cols = 30
df = pl.DataFrame(np.random.randint(0, 100, size=(n_cols, rows)), schema=[str(x) for x in range(n_cols)])
x_list = [1,2,3]
df = df.sort('0').group_by([str(x) for x in range(1,n_cols)])
pl.concat([df.head(x).with_columns(pl.lit(x).alias('x').cast(pl.Int8)) for x in x_list])
Подробнее здесь: https://stackoverflow.com/questions/793 ... group-afte
Как ускорить операцию повторения первых n строк для каждой группы после группы? ⇐ Python
-
- Похожие темы
- Ответы
- Просмотры
- Последнее сообщение
-
-
Как ускорить операцию повторения первых n строк для каждой группы после группы?
Anonymous » » в форуме Python - 0 Ответы
- 12 Просмотры
-
Последнее сообщение Anonymous
-
-
-
Как ускорить операцию повторения первых n строк для каждой группы после group_by?
Anonymous » » в форуме Python - 0 Ответы
- 15 Просмотры
-
Последнее сообщение Anonymous
-
-
-
Как ускорить операцию повторения первых n строк для каждой группы после group_by?
Anonymous » » в форуме Python - 0 Ответы
- 11 Просмотры
-
Последнее сообщение Anonymous
-
-
-
Как ускорить операцию повторения первых n строк для каждой группы после group_by?
Anonymous » » в форуме Python - 0 Ответы
- 15 Просмотры
-
Последнее сообщение Anonymous
-
-
-
Как ускорить операцию повторения первых n строк для каждой группы после group_by?
Anonymous » » в форуме Python - 0 Ответы
- 13 Просмотры
-
Последнее сообщение Anonymous
-