В LocalCluster Dask есть параметр Memory_limit. Я не могу найти в документации (
https://distributed.dask.org/en/latest/ ... management) сведения о том, действует ли ограничение на одного работника, на поток или на весь кластер. Вероятно, это отчасти связано с тем, что мне сложно следить за тем, как передаются ключевые слова.
Например, в этом коде:
Код: Выделить всё
cluster = LocalCluster(n_workers=2,
threads_per_worker=4,
memory_target_fraction=0.95,
memory_limit='32GB')
< /code>
Будет ли это 32 ГБ для каждого работника? Для обоих работников вместе? Или для каждого потока?
Мой вопрос мотивируется частично путем запуска localcluster
с n_workers = 1 и memory_limit = 32gb , но его убивают от убийцы из-за силрма за использование слишком большого количества памяти.
Подробнее здесь:
https://stackoverflow.com/questions/694 ... it-control