Оптимизация многокритериальных сравнений с большими кадрами данных в Python ⇐ Python

[Anonymous]

Я работаю над проектом, связанным с анализом спортивных результатов, где мне нужно сравнить строки DataFrame на основе нескольких критериев (возраст, результаты и дата). Для каждой строки мне нужно сравнить ее со всеми остальными и посчитать те, которые соответствуют определенным условиям (меньше или равно для каждого критерия).
Контекст:

• DataFrame содержит десятки миллионов строк.
• Мне нужно сравнить каждую строку с другими в нескольких столбцах: возраст, производительность и дата.
• Для каждой строки я хочу подсчитать количество успешных сравнений.

Текущий подход:
Сейчас я использую Numpy и Pandas. Однако при добавлении нескольких критериев (возраст, производительность и дата) алгоритм становится слишком медленным и не подходит для многомерных сравнений.
Вот упрощенный пример мой текущий код:

Код: Выделить всё

import pandas as pd
import numpy as np

# Generate random data
def generate_dynamic_dataframe(n):
age = np.round(np.random.uniform(20, 50, n), 3)
performance = np.round(np.random.uniform(5, 25, n), 2)
dates = pd.to_datetime(np.random.randint(946684800, 1672531199, n), unit='s')
df = pd.DataFrame({'age': age, 'performance': performance, 'date': dates})
return df

# Example comparison with NumPy vectorization (too slow for multiple criteria)
def compare_rows_with_vectorization(df):
n = len(df)

# Convert columns to NumPy arrays
age_array = df['age'].to_numpy()
performance_array = df['performance'].to_numpy()
date_array = df['date'].astype('int64').to_numpy()  # Convert dates to int64

# Create comparison matrices
age_matrix = age_array[:, np.newaxis] 

Подробнее здесь: [url]https://stackoverflow.com/questions/79012529/optimizing-multi-criteria-comparisons-with-large-dataframes-in-python[/url]