Лучшая структура данных для эффективной фильтрации большой таблицы по указанным значениям столбцовPython

Программы на Python
Anonymous
Лучшая структура данных для эффективной фильтрации большой таблицы по указанным значениям столбцов

Сообщение Anonymous »

У меня очень большая таблица с 10 столбцами и около 10 000 000 строк. Эту таблицу необходимо фильтровать миллионы раз на основе определенных значений в одном или нескольких столбцах. Процесс фильтрации должен возвращать все строки, в которых в данном столбце существует хотя бы одно из указанных значений.
Если я хочу отфильтровать строки, в которых столбец «Год» имеет значения 2022 и 2023, а в столбце Страна указаны значения Германия и Польша, запрос должен возвращать строки, соответствующие этим критериям.
Учитывая большой размер таблицы и высокую частоту операций фильтрации, какая структура данных будет наиболее эффективным для этой цели? Как я могу оптимизировать процесс фильтрации, чтобы добиться большей производительности?

Подробнее здесь: https://stackoverflow.com/questions/787 ... ied-column

Вернуться в «Python»