Как эффективно выполнять параллельный поиск файлов с использованием pathlib `glob` в Python для больших структур каталог ⇐ Python

[Anonymous]

Я работаю над проектом Python, в котором мне нужно искать определенные файлы в очень большой структуре каталогов. В настоящее время я использую метод glob (или rglob) из модуля pathlib, но он довольно медленный из-за большого количества файлов и каталогов.
Вот упрощенная версия моего текущий код:

Код: Выделить всё

from pathlib import Path

base_dir = Path("/path/to/large/directory")
files = list(base_dir.rglob("ind_stat.zpkl"))

Это работает, но слишком медленно, поскольку приходится проходить через огромное количество каталогов и файлов. В идеале я хотел бы разделить работу по обходу каталога между несколькими потоками или процессами, чтобы повысить производительность. Существуют ли оптимизации или альтернативные библиотеки/методы, которые могут помочь повысить производительность?

Подробнее здесь: https://stackoverflow.com/questions/787 ... n-python-f