Как улучшить время обработки pandas DF для различных комбинаций расчетных данных ⇐ Python

[Anonymous]

У меня есть большой набор данных, около 100 тысяч или 1 мил строк, и у меня есть функция, которая выполняет векторные вычисления, которые занимают 0,03 секунды. Теперь все мои столбцы перед процессом могут быть одинаковыми для каждой итерации. Я хочу вычислить 2^n комбинаций условий, которые я создаю. Итак, в настоящее время мне потребуется 2^n * 0,03 с, чтобы запустить все это по длине цикла и запустить функцию. Есть ли лучший способ повысить производительность и запустить все эти возможности векторизованно или параллельно (не параллельно процессору Python. Это немного помогает). Единственное, о чем я думаю, это создать уникальный столбец для каждой итерации и выполнить вычисления регулярных выражений, но тогда df будет слишком большим.
В этом примере процесс, в котором каждая обработка занимает 0,01 мс, результат:
Общее количество комбинаций: 1023.
Общее время для оценки всех комбинаций: 20,73 секунды
import pandas as pd
import numpy as np
from itertools import combinations
import time

# Generate a larger DataFrame with 100,000 rows
data = {
'Height': np.random.uniform(150, 200, size=100000),
'Weight': np.random.uniform(50, 100, size=100000),
'Gender': np.random.choice(['Male', 'Female'], size=100000),
'Age': np.random.randint(18, 70, size=100000)
}

df = pd.DataFrame(data)

# Define vectorized functions for each condition with dynamic values
def calculate_bmi(height, weight):
height_m = height / 100
return weight / (height_m ** 2)

def condition_bmi(df, min_bmi, max_bmi):
bmi = calculate_bmi(df['Height'], df['Weight'])
return (min_bmi

Подробнее здесь: https://stackoverflow.com/questions/789 ... calculated