Множественные условия для фильтров в секционированных столбцах с помощью pandas read_parquet ⇐ Python

[Anonymous]

Если у меня есть секционированные данные и мне нужно было фильтровать их с помощью аргумента filter в pd.read_parquet, как мне это сделать? Например:

Код: Выделить всё

import pandas as pd

data = {
"ID": [1, 2, 3],
"Value": ["A", "B", "C"]
}
df = pd.DataFrame(data)

parquet_folder = "example_partitioned"
df.to_parquet(parquet_folder, index=False, partition_cols=["Value"])

Итак, у меня есть секционированная структура данных на диске. Если я создаю такое условие фильтра, оно работает:

Код: Выделить всё

filter_conditions = [
("Value", "==", "A")
]

pd.read_parquet(parquet_folder, filters=filter_conditions)

Но если мне нужно несколько условий (т. е. A OR B), следующее не работает:

Код: Выделить всё

filter_conditions_two = [
("Value", "==", "A"),
("Value", "==", "B")
]

pd.read_parquet(parquet_folder, filters=filter_conditions_two)

Вместо этого возвращается пустой фрейм данных. Возможно ли это с фильтрами?


Подробнее здесь: https://stackoverflow.com/questions/784 ... ad-parquet