У меня есть программа, которая обрабатывает набор данных. Когда он читает набор данных, я регистрирую его память с помощью Memory_usage(deep=True).sum(), и он показывает X ГБ. Однако в то же время профилирование процесса, запускающего приложение, сообщает о потреблении оперативной памяти в 3,5 раза больше. Я попробовал оптимизацию, которая привела к снижению общего использования, но соотношение между размером набора данных и фактическим потреблением памяти процессом осталось прежним.
Вопросы:
< ol>
[*]Ожидается ли, что фреймы данных pandas будут потреблять в 3–4 раза больше памяти, чем размер набора данных?
[*]Если да, существуют ли какие-либо оптимизации, которые конкретно касались бы соотношение между размером набора данных и потребляемой памятью? Например, понижение типов данных уменьшило как размер набора данных, так и потребляемую память, но соотношение осталось прежним.
[*]Есть ли особая причина такого несоответствия? Это где-нибудь задокументировано?
Минимальный пример:
from memory_profiler import profile
from pandas import DataFrame
NUMBER_OF_RECORDS = 5_000_000
@profile
def main():
dataset = DataFrame(
{
"a": [1] * NUMBER_OF_RECORDS,
"b": [2] * NUMBER_OF_RECORDS,
"c": [3] * NUMBER_OF_RECORDS,
}
)
print("Memory usage: %s MB", dataset.memory_usage().sum() / 1024 / 1024)
main()
Выход:
Memory usage: %s MB 114.44104385375977
Line # Mem usage Increment Occurrences Line Contents
=============================================================
7 88.7 MiB 88.7 MiB 1 @profile
8 def main():
9 675.3 MiB 472.1 MiB 2 dataset = DataFrame(
10 203.2 MiB 0.0 MiB 1 {
11 126.9 MiB 38.2 MiB 1 "a": [1] * NUMBER_OF_RECORDS,
12 165.0 MiB 38.2 MiB 1 "b": [2] * NUMBER_OF_RECORDS,
13 203.2 MiB 38.2 MiB 1 "c": [3] * NUMBER_OF_RECORDS,
14 }
15 )
16
17 675.7 MiB 0.3 MiB 1 print("Memory usage: %s MB", dataset.memory_usage().sum() / 1024 / 1024)
Подробнее здесь: https://stackoverflow.com/questions/790 ... taset-size
