Программы на Python
-
Anonymous
Почему мои поляры медленнее, чем панды, при простом разделении столбцов?
Сообщение
Anonymous »
У меня есть следующий тестовый код с показателями времени:
Код: Выделить всё
import time
import polars as pl
import pandas as pd
import numpy as np
n = 10_000_000
np_arrs = {"x": np.random.rand(n), "y": np.random.rand(n)}
pl_df = pl.DataFrame(np_arrs)
pd_df = pd.DataFrame(np_arrs)
t0 = time.time()
z = np_arrs["x"] / np_arrs["y"]
t1 = time.time()
print(f"time cost: {round((t1 - t0) * 1000)} ms") # 20 ms
t0 = time.time()
z = pl_df["x"] / pl_df["y"]
t1 = time.time()
print(f"time cost: {round((t1 - t0) * 1000)} ms") # 42 ms
t0 = time.time()
z = pd_df["x"] / pd_df["y"]
t1 = time.time()
print(f"time cost: {round((t1 - t0) * 1000)} ms") # 18 ms
Для меня странно, что поляры примерно в 2 раза медленнее. Кто-нибудь знает, почему?
Мои тестовые среды:
- компьютер: MBP 2020, 13 дюймов, 4-ядерный i5 с тактовой частотой 2 ГГц , 16 ГБ памяти.
- python: 3.12.3
- numpy: 1.26.4
- pandas: 2.2. 2
- поляры: 0,20,31
Подробнее здесь:
https://stackoverflow.com/questions/786 ... -divisions
1719722834
Anonymous
У меня есть следующий тестовый код с показателями времени:
[code]import time
import polars as pl
import pandas as pd
import numpy as np
n = 10_000_000
np_arrs = {"x": np.random.rand(n), "y": np.random.rand(n)}
pl_df = pl.DataFrame(np_arrs)
pd_df = pd.DataFrame(np_arrs)
t0 = time.time()
z = np_arrs["x"] / np_arrs["y"]
t1 = time.time()
print(f"time cost: {round((t1 - t0) * 1000)} ms") # 20 ms
t0 = time.time()
z = pl_df["x"] / pl_df["y"]
t1 = time.time()
print(f"time cost: {round((t1 - t0) * 1000)} ms") # 42 ms
t0 = time.time()
z = pd_df["x"] / pd_df["y"]
t1 = time.time()
print(f"time cost: {round((t1 - t0) * 1000)} ms") # 18 ms
[/code]
Для меня странно, что поляры примерно в 2 раза медленнее. Кто-нибудь знает, почему?
Мои тестовые среды:
[list]
[*]компьютер: MBP 2020, 13 дюймов, 4-ядерный i5 с тактовой частотой 2 ГГц , 16 ГБ памяти.
[*]python: 3.12.3
[*]numpy: 1.26.4
[*]pandas: 2.2. 2
[*]поляры: 0,20,31
[/list]
Подробнее здесь: [url]https://stackoverflow.com/questions/78687685/why-is-my-polars-slower-than-pandas-in-simple-column-divisions[/url]
-
-
Поляры: как узнать количество столбцов в выражении поляры?
Anonymous »
» в форуме
Python
Я создаю пакет поверх Polars, и одна из функций выглядит так
def func(x: IntoExpr, y: IntoExpr):
...
Бизнес-логика требует, чтобы x мог включать в себя несколько столбцов, но y должен быть одним столбцом.
Что мне следует сделать, чтобы проверить...
- 0 Ответы
- 22 Просмотры
-
Последнее сообщение Anonymous
-
-
Поляры: как узнать количество столбцов в выражении поляры?
Anonymous »
» в форуме
Python
Я создаю пакет поверх Polars, и одна из функций выглядит так
def func(x: IntoExpr, y: IntoExpr):
...
Бизнес-логика требует, чтобы x мог включать в себя несколько столбцов, но y должен быть одним столбцом.
Что мне следует сделать, чтобы проверить...
- 0 Ответы
- 28 Просмотры
-
Последнее сообщение Anonymous
-
-
Поляры + Паркет vs. Поляры + MySQL?
Anonymous »
» в форуме
Python
Предположим, у меня есть данные с 1 миллиардом строк. Что из следующего можно было бы рекомендовать:
Сохранить в MySQL и выполнять запросы через MySQL
Сохранить в MySQL и запросить его через Polars.
Сохраните его в Parquet и запросите через...
- 0 Ответы
- 25 Просмотры
-
Последнее сообщение Anonymous
-
-
Поляры + Паркет vs. Поляры + MySQL?
Anonymous »
» в форуме
Python
Предположим, у меня есть данные с 1 миллиардом строк. Что из следующего можно было бы рекомендовать:
Сохранить в MySQL и выполнять запросы через MySQL
Сохранить в MySQL и запросить его через Polars.
Сохраните его в Parquet и запросите через...
- 0 Ответы
- 19 Просмотры
-
Последнее сообщение Anonymous
-
-
- 0 Ответы
- 21 Просмотры
-
Последнее сообщение Anonymous