Поляры - не удалось выделить N байт памяти ⇐ Python

[Anonymous]

Попытка выполнить оператор для файла размером 30 Гб, содержащего 26 миллионов записей и 33 столбца. Когда мы выполняем выборку из 10 000 строк, все работает без ошибок. проблема существует в полном файле. Заметил, что мне удалось выполнить код в Jupyter, однако при запуске из VS Code в 64-разрядной версии Windows 10 это не удается.

Код: Выделить всё

(
df
.group_by(person_id_key, person_source_id_key, "person_source_type")
.agg(
# All Names
pl.concat_list(
pl.col(full_name_key).fill_null(""),
pl.col(nickname_key).fill_null("").str.split("|"),
pl.col(first_name_key).fill_null("") + " " + pl.col(last_name_key).fill_null("")
)
.list.eval(pl.element().filter(~pl.element().is_in(special_removal)))
.flatten()
.unique()
.alias("name"),

# All Companies
pl.concat_list(org_name_key, master_org_name_key)
.flatten()
.unique()
.alias("company")
)
.with_columns(pl.col('name').list.len().alias("size_of_name"))
.filter(
pl.col("size_of_name") >= 1
)
.drop("size_of_name")
)

Это проблема с моим скриптом или мне следует попробовать другую версию поляров, отличную от 0.17.2?
Дайте мне знать в комментариях, если есть есть ли какая-либо другая информация, которая будет полезна, набор данных конфиденциальен, но при необходимости я могу поделиться синтетической версией.

Подробнее здесь: https://stackoverflow.com/questions/759 ... tes-failed