Как предотвратить ошибку OOM при выполнении тяжелой обработки в Python? ⇐ Python

[Гость]

Я пытался запустить фрагмент кода на Python на моей Linux-машине с оперативной памятью (32 ГБ), но он продолжает говорить, что ядро ​​умерло, если запустить Jupyter Notebook, а если запустить как сценарий, он говорит, что уничтожен

Это сообщение от команды sudo dmesg:

Недостаточно памяти: завершен процесс 31417 (python3) total-vm:31209328КБ, anon-rss:30052820КБ, file-rss:256КБ, shmem-rss:0КБ, UID:1000 pgtables:59800КБ oom_score_adj:0

тот же фрагмент кода работал нормально в Windows без каких-либо ошибок. может кто-нибудь предложить запустить задание в Linux.

Код, вызывающий эту ошибку:

result = pd.merge(df,temp,left_on=['equity_name','next_date_0'] ,right_on=['equity_name','date'] ,suffixes=('','_0') ) result = pd.merge(result,temp,left_on=['equity_name','next_date_1'] ,right_on=['equity_name','date'] ,suffixes=('','_1')) result = pd.merge(result,temp,left_on=['equity_name','next_date_2'] ,right_on=['equity_name','date'] ,suffixes=('','_2')) result = pd.merge(result,temp,left_on=['equity_name','next_date_3'] ,right_on=['equity_name','date'] ,suffixes=('','_3')) result = pd.merge(result,temp,left_on=['equity_name','next_date_4'] ,right_on=['equity_name','date'] ,suffixes=('','_4')) result = pd.merge(result,temp,left_on=['equity_name','next_date_5'] ,right_on=['equity_name','date'] ,suffixes=('','_5')) result = pd.merge(result,temp,left_on=['equity_name','next_date_6'] ,right_on=['equity_name','date'] ,suffixes=('','_6')) Для справки: количество записей, которые я использую в приведенном выше кадре данных df, равно 35000. Также хотел спросить, может ли pyspark помочь мне преодолеть эту ошибку.