Каков наиболее эффективный способ проверить наличие дубликатов в Polars LazyFrame? ⇐ Python

[Anonymous]

С помощью Клода Сонета 4 я создал эту функцию, которая, надеюсь, делает то, что я просил.

Код: Выделить всё

def has_duplicates_early_exit(df: pl.LazyFrame, subset: list[str]) -> bool:
"""Can exit early when first duplicate is found"""
return df.select(
pl.struct(subset).is_duplicated().any()
).collect().item()

Это самое эффективное, что вы можете сделать?

Подробнее здесь: https://stackoverflow.com/questions/797 ... duplicates