Большой объем разбора URL-адресов в Python ⇐ Python

[Anonymous]

Я использую пакеты Polars, urllib и tldextract в Python для анализа двух столбцов строк URL-адресов в файлах паркета, сжатых с помощью zstd (в среднем 8 ГБ, 40 миллионов строк). Проанализированные выходные данные включают схему, netloc, поддомен, домен, суффикс, путь, запрос и фрагмент. На моем ПК обработка одного файла занимает около 16 минут (64 ГБ ОЗУ, 32 логических ядра). Входные данные считываются с одного SSD (x:/), а выходные данные записываются на отдельный SSD (y:/).
Мой код не использует многопроцессорность. Для обеспечения эффективности он опирается на функции потоковой передачи и векторизации поляров. Использование оперативной памяти при обработке близко к пределу. Я не могу в полной мере воспользоваться преимуществами векторизации поляров, поскольку urllib и tldextract не являются встроенными в движок поляров (rust).
Существуют ли альтернативные подходы или модификации, которые помогут ускорить обработку? Разумно ли время обработки в 16 минут? Я подумывал о создании расширения Rust для поляров, которое имело бы ту же функциональность, что и urllib и tldextract, но это похоже на изобретение велосипеда.

Подробнее здесь: https://stackoverflow.com/questions/798 ... -in-python