Как загружать большие наборы данных в Ubuntu [закрыто] ⇐ Python

[Гость]

У меня есть 5 наборов данных размером около 2 ГБ каждый. Я хочу добавить 4 набора данных для создания набора поездов и использовать 5-й набор данных в качестве тестового набора.

При создании большого набора данных из поднаборов данных. Процесс Python завершается в Linux. Я недавно перешел на Linux, и в Windows это не было проблемой.

Я хочу создать большой набор данных, а затем мне нужно масштабировать его с помощью MinMaxScaler. Может кто-нибудь, пожалуйста, дайте мне знать, как это сделать, не останавливая процесс в Ubuntu.

ниже приведены выходные данные команды free. $ бесплатно -m

общее количество использованных бесплатных общих баффов/кэша

Память: 15395 1834 11207 14 2353 13254

Обмен: 4095 0 4095

Это то, что dmesg| grep "oom" выглядит так: -

root@granth-ASUS-TUF-Gaming-A15-FA506IV-FA506IV:/media/granth/Granth/stock_scripts# dmesg | grep -i "ом"

[ 466.692363] gnome-shell вызвал oom-killer: gfp_mask=0x140cca(GFP_HIGHUSER_MOVABLE|__GFP_COMP), заказ=0, oom_score_adj=0

[ 466.692386] oom_kill_process+0x108/0x1c0

[ 466.692389] __alloc_pages_may_oom+0x117/0x1e0

[ 466.692503] [ pid ] uid tgid total_vm rss pgtables_bytes swapents имя oom_score_adj

[ 466.692514] [ 645] 108 645 3706 384 69632
0 -900 systemd-oomd

[ 466.692685] oom-kill:constraint=CONSTRAINT_NONE,nodemask=(null),cpuset=/,mems_allowed=0,global_oom,task_memcg=/user.slice/user-1000.slice/user@1000.service/app.slice/app-org .gnome.Terminal.slice/vte-spawn-31eef536-bc87-4a26-a148-d259442fb0c7.scope,task=python,pid=4696,uid=1000

[ 466.692727] Недостаточно памяти: завершен процесс 4696 (python) Total-VM: 20673888 КБ, anon-rss: 13794036 КБ, file-rss: 768 КБ, shmem-rss:0КБ, UID:1000 pgtables:34936КБ oom_score_adj:0