Существует ли общее «эмпирическое правило» для максимального процента памяти, которую должна использовать задача обработ ⇐ Python

[Anonymous]

В настоящее время я помогаю в проекте, связанном с большими наборами климатических данных. Один из наших этапов обработки включает в себя чтение файлов netCDF по частям, чтобы предотвратить использование слишком большого количества оперативной памяти. Чем больше размер фрагмента, тем быстрее выполняется этап обработки.
Идея состоит в том, чтобы создать сценарий, который можно запустить с использованием скромных ресурсов (16 ГБ ОЗУ, 4-ядерный процессор, персональный компьютер/ноутбук). ) в разумные сроки.
Мой руководитель считает, что нам не следует использовать более 30 % доступной памяти, и хочет ограничить размер фрагмента, чтобы учесть это. Я немного погуглил, но кроме ответа ИИ Google (ссылки на источники которого, похоже, не содержат этой информации), я не могу найти ничего о максимальном объеме памяти или этом правиле 30%. Есть ли у кого-нибудь какие-либо идеи о том, каким будет разумный предел, или есть ресурсы, где можно узнать об этом больше?

Подробнее здесь: https://stackoverflow.com/questions/793 ... y-a-data-p