Я застрял на этом предпоследнем утверждении, не имея ни малейшего понятия. Ошибка: numpy.core._Exceptions.MemoryError: невозможно выделить 58,1 ГиБ для массива с формой (7791676634) и типом данных int64
Я думал, что объединение фрейма данных ~12 миллионов записей с еще одним фреймом данных, состоящим еще из 3-4 столбцов, не должно быть большой проблемой.
Пожалуйста, помогите мне. Полностью застрял здесь. Спасибо
Select_Emp_df содержит около 900 тыс. записей
а Big_df содержит около 12 миллионов записей и 9 столбцов. Мне просто нужно объединить два DF, как мы делаем поиск в Excel по ключевому столбцу.
import pandas as pd
Emp_df = pd.read_csv('New_Employee_df.csv', low_memory = False )
# Append data into one data frame from three csv files of 3 years'
transactions
df2019 = pd.read_csv('U21_02767G - Customer Trade Info2019.csv',
low_memory = False )
df2021 = pd.read_csv('U21_02767G - Customer Trade
Info2021(TillSep).csv', low_memory = False)
df2020 = pd.read_csv('Newdf2020.csv', low_memory = False)
Big_df = pd.concat([df2019, df2020, df2021], ignore_index=True)
Select_Emp_df = Emp_df[['CUSTKEY','GCIF_GENDER_DSC','SEX']]
Big_df = pd.merge(Big_df, Select_Emp_df, on='CUSTKEY')
print (Big_df.info)
Подробнее здесь: https://stackoverflow.com/questions/698 ... ata-frames
