Я столкнулся с проблемами памяти при масштабировании до 32 рабочих процессов, так как некоторые промежуточные данные хранятся в памяти, что приводит к увеличению потребления памяти как с количеством рабочих процессов, так и с объемом входных данных. Чтобы решить эту проблему, я попытался использовать библиотеку diskcache для выгрузки некоторых данных на диск, сохраняя при этом максимум до 100 ГБ. Хотя это решило проблему с памятью, это привело к нестабильному времени выполнения из-за большого количества дисковых операций ввода-вывода по сравнению с использованием памяти. Кроме того, я обеспокоен тем, что частые операции чтения/записи могут сократить срок службы диска.
Подробнее здесь: https://stackoverflow.com/questions/789 ... -in-python
