Предположим, у меня есть массив значений
values = np.array([0.0, 1.0, 2.0, 3.0, 4.0])
и индексный массив
indices = np.array([0,1,0,2,2])
Существует ли векторизованный способ суммирования значений для каждого уникального индекса в индексах?
Я имею в виду векторизованную версию для получения сумм в этом фрагменте :
sums = np.zeros(np.max(indices)+1)
for index, value in zip(indices, values):
sums[index] += value
Бонусные баллы, если решение позволяет значениям (и, как следствие, суммам) быть многомерными.
РЕДАКТИРОВАТЬ: Я сравнил опубликованные решения:
import numpy as np
import time
import pandas as pd
values = np.arange(1_000_000, dtype=float)
rng = np.random.default_rng(0)
indices = rng.integers(0, 1000, size=1_000_000)
N = 100
now = time.time_ns()
for _ in range(N):
sums = np.bincount(indices, weights=values, minlength=1000)
print(f"np.bincount: {(time.time_ns() - now) * 1e-6 / N:.3f} ms")
now = time.time_ns()
for _ in range(N):
sums = np.zeros(1 + np.amax(indices), dtype=values.dtype)
np.add.at(sums, indices, values)
print(f"np.add.at: {(time.time_ns() - now) * 1e-6 / N:.3f} ms")
now = time.time_ns()
for _ in range(N):
pd.Series(values).groupby(indices).sum().values
print(f"pd.groupby: {(time.time_ns() - now) * 1e-6 / N:.3f} ms")
now = time.time_ns()
for _ in range(N):
sums = np.zeros(np.max(indices)+1)
for index, value in zip(indices, values):
sums[index] += value
print(f"Loop: {(time.time_ns() - now) * 1e-6 / N:.3f} ms")
Результаты:
np.bincount: 1.129 ms
np.add.at: 0.763 ms
pd.groupby: 5.215 ms
Loop: 196.633 ms
Подробнее здесь: https://stackoverflow.com/questions/791 ... zed-manner
Как суммировать значения на основе второго индексного массива векторизованным способом ⇐ Python
Программы на Python
1730296557
Anonymous
Предположим, у меня есть массив значений
values = np.array([0.0, 1.0, 2.0, 3.0, 4.0])
и индексный массив
indices = np.array([0,1,0,2,2])
Существует ли векторизованный способ суммирования значений для каждого уникального индекса в индексах?
Я имею в виду векторизованную версию для получения сумм в этом фрагменте :
sums = np.zeros(np.max(indices)+1)
for index, value in zip(indices, values):
sums[index] += value
Бонусные баллы, если решение позволяет значениям (и, как следствие, суммам) быть многомерными.
[b]РЕДАКТИРОВАТЬ:[/b] Я сравнил опубликованные решения:
import numpy as np
import time
import pandas as pd
values = np.arange(1_000_000, dtype=float)
rng = np.random.default_rng(0)
indices = rng.integers(0, 1000, size=1_000_000)
N = 100
now = time.time_ns()
for _ in range(N):
sums = np.bincount(indices, weights=values, minlength=1000)
print(f"np.bincount: {(time.time_ns() - now) * 1e-6 / N:.3f} ms")
now = time.time_ns()
for _ in range(N):
sums = np.zeros(1 + np.amax(indices), dtype=values.dtype)
np.add.at(sums, indices, values)
print(f"np.add.at: {(time.time_ns() - now) * 1e-6 / N:.3f} ms")
now = time.time_ns()
for _ in range(N):
pd.Series(values).groupby(indices).sum().values
print(f"pd.groupby: {(time.time_ns() - now) * 1e-6 / N:.3f} ms")
now = time.time_ns()
for _ in range(N):
sums = np.zeros(np.max(indices)+1)
for index, value in zip(indices, values):
sums[index] += value
print(f"Loop: {(time.time_ns() - now) * 1e-6 / N:.3f} ms")
Результаты:
np.bincount: 1.129 ms
np.add.at: 0.763 ms
pd.groupby: 5.215 ms
Loop: 196.633 ms
Подробнее здесь: [url]https://stackoverflow.com/questions/79140661/how-to-sum-values-based-on-a-second-index-array-in-a-vectorized-manner[/url]
Ответить
1 сообщение
• Страница 1 из 1
Перейти
- Кемерово-IT
- ↳ Javascript
- ↳ C#
- ↳ JAVA
- ↳ Elasticsearch aggregation
- ↳ Python
- ↳ Php
- ↳ Android
- ↳ Html
- ↳ Jquery
- ↳ C++
- ↳ IOS
- ↳ CSS
- ↳ Excel
- ↳ Linux
- ↳ Apache
- ↳ MySql
- Детский мир
- Для души
- ↳ Музыкальные инструменты даром
- ↳ Печатная продукция даром
- Внешняя красота и здоровье
- ↳ Одежда и обувь для взрослых даром
- ↳ Товары для здоровья
- ↳ Физкультура и спорт
- Техника - даром!
- ↳ Автомобилистам
- ↳ Компьютерная техника
- ↳ Плиты: газовые и электрические
- ↳ Холодильники
- ↳ Стиральные машины
- ↳ Телевизоры
- ↳ Телефоны, смартфоны, плашеты
- ↳ Швейные машинки
- ↳ Прочая электроника и техника
- ↳ Фототехника
- Ремонт и интерьер
- ↳ Стройматериалы, инструмент
- ↳ Мебель и предметы интерьера даром
- ↳ Cантехника
- Другие темы
- ↳ Разное даром
- ↳ Давай меняться!
- ↳ Отдам\возьму за копеечку
- ↳ Работа и подработка в Кемерове
- ↳ Давай с тобой поговорим...
Мобильная версия