Почему процесс, запускающий pandas, использует в 3-4 раза больше памяти, чем размер набора данных? ⇐ Python

[Anonymous]

У меня есть программа, которая обрабатывает набор данных. Когда он читает набор данных, я регистрирую его память с помощью Memory_usage(deep=True).sum(), и он показывает X ГБ. Однако в то же время профилирование процесса, запускающего приложение, сообщает о потреблении оперативной памяти в 3,5 раза больше. Я попробовал оптимизацию, которая привела к снижению общего использования, но соотношение между размером набора данных и фактическим потреблением памяти процессом осталось прежним.
Вопросы:
< ol>
[*]Ожидается ли, что фреймы данных pandas будут потреблять в 3–4 раза больше памяти, чем размер набора данных?
[*]Если да, существуют ли какие-либо оптимизации, которые конкретно касались бы соотношение между размером набора данных и потребляемой памятью? Например, понижение типов данных уменьшило как размер набора данных, так и потребляемую память, но соотношение осталось прежним.
[*]Есть ли особая причина такого несоответствия? Это где-нибудь задокументировано?

Минимальный пример:
from memory_profiler import profile
from pandas import DataFrame

NUMBER_OF_RECORDS = 5_000_000

@profile
def main():
dataset = DataFrame(
{
"a": [1] * NUMBER_OF_RECORDS,
"b": [2] * NUMBER_OF_RECORDS,
"c": [3] * NUMBER_OF_RECORDS,
}
)

print("Memory usage: %s MB", dataset.memory_usage().sum() / 1024 / 1024)

main()


Подробнее здесь: https://stackoverflow.com/questions/790 ... taset-size