Linux OOM Killer и Java-процесс ⇐ JAVA

[Anonymous]

В нашей производственной среде я часто сталкиваюсь с проблемой, когда процесс Tomcat завершается Linux OOM.

Проверка /var/log/messages показывает, что Java не испорчена и Java вызвала убийцу OOM.

-Xms20480m -Xmx20480m на коробке емкостью 32 ГБ.

Я вижу ниже сбой -

Вызывает ли этот сбой OOM? или сбой произошел из-за OOM? Как я могу устранить эту проблему?

# # Среда выполнения Java обнаружила фатальную ошибку: # # SIGSEGV (0xb) по адресу pc=0x00007f4c3230aad7, pid=16248, tid=139964439296320 # # Версия JRE: среда выполнения Java(TM) SE (7.0_45-b18) (сборка 1.7.0_45-b18) # Виртуальная машина Java: 64-битная серверная виртуальная машина Java HotSpot(TM) (24.45-b08, смешанный режим, сжатый linux-amd64, упс) # Проблемный кадр: # V [libjvm.so+0x674ad7] JVM_Clone+0x97 # # Не удалось записать дамп ядра. Дампы ядра отключены. Чтобы включить дамп ядра, попробуйте «ulimit -c неограниченный» перед повторным запуском Java. # # Если вы хотите отправить отчет об ошибке, посетите: # http://bugreport.sun.com/bugreport/crash.jsp # Сбой произошел за пределами виртуальной машины Java в собственном коде. # См. проблемный фрейм, чтобы узнать, куда сообщить об ошибке. # --------------- НИТЬ --------------- Текущий поток (0x0000000001313800): демон JavaThread "http-bio-14080-exec-17" [_thread_in_native, id=18943, stack(0x00007f4c029f7000,0x00007f4c02af8000)] siginfo:si_signo=SIGSEGV: si_errno=0, si_code=128 (), si_addr=0x0000000000000000 Регистры: RAX=0x0000000000010000, RBX=0x80000001000004db, RCX=0x0000000302bd6fb0, RDX=0x00007f4c32acda50 RSP=0x00007f4c02af2c88, RBP=0x00007f4c02af2d70, RSI=0x00007f4c02af2d80, RDI=0x00000000013139e8 R8 = 0x0000000000000001, R9 = 0x00000002f8191228, R10 = 0x00007f4c2e231658, R11 = 0x00007f4c2e231638 R12=0x0000000302bd6fb0, R13=0x00000007e0002420, R14=0x0000000000000000, R15=0x0000000001313800 RIP=0x00007f4c3230aad7, EFLAGS=0x0000000000010202, CSGSFS=0x0000000000000033, ERR=0x0000000000000000 ТРАПНО=0x000000000000000d Вершина стека: (sp=0x00007f4c02af2c88) 0x00007f4c02af2c88: 00007f4c3230aa63 00000000129196d1 0x00007f4c02af2c98: 00000002f817b620 00000000013139e8 0x00007f4c02af2ca8: 00007f4c02af2d18 00000002f8191080 0x00007f4c02af2cb8: 0000000000000009 0000000001313800 0x00007f4c02af2cc8: 0000000000000000 0000000001313800 0x00007f4c02af2cd8: 00000000138f5509 0000000000000000 0x00007f4c02af2ce8: 00007f4c2e382ae8 0000000000000000 0x00007f4c02af2cf8: 00007f4c02af2cf8 00000002f817b620 0x00007f4c02af2d08: 00000002f8190fd8 00000007e01ab278 0x00007f4c02af2d18: 00000002f8190ec0 00000007e0002420 0x00007f4c02af2d28: 0000000000000000 00000007e0002420 0x00007f4c02af2d38: 0000000000000000 0000000000000000 0x00007f4c02af2d48: 00000007e0002420 0000000000000000 0x00007f4c02af2d58: 00007f4c02af2de0 0000000000000000 0x00007f4c02af2d68: 0000000001313800 00007f4c02af2dc0 0x00007f4c02af2d78: 00007f4c2e2316c6 0000000302bd6fb0 0x00007f4c02af2d88: 0000000000000000 00007f4c02af2e08 0x00007f4c02af2d98: 00007f4c2e1bc8e1 00007f4c02af2db8 0x00007f4c02af2da8: 00007f4c2e1bc8e1 00000002f8190fd8 0x00007f4c02af2db8: 00000002f817b620 00007f4c02af2e28 0x00007f4c02af2dc8: 00007f4c2e1bc233 00000007e1ec4e9f 0x00007f4c02af2dd8: 00007f4c2e1bc233 0000000302bd6fb0 0x00007f4c02af2de8: 00007f4c02af2de8 00000007e1b7a5db 0x00007f4c02af2df8: 00007f4c02af2e30 00000007e37575a8 0x00007f4c02af2e08: 0000000000000000 00000007e1b7a5e8 0x00007f4c02af2e18: 00007f4c02af2de0 00007f4c02af2e40 0x00007f4c02af2e28: 00007f4c02af2ed0 00007f4c2edaaf34 0x00007f4c02af2e38: 00007f4c2edaaf34 00007f4c0000000a 0x00007f4c02af2e48: 00000007e416ec20 0000000000000000 0x00007f4c02af2e58: 00000007e416e2b8 00007f4c02af2ed0 0x00007f4c02af2e68: 00007f4c2e1bc233 00007f4c02af2ed0 0x00007f4c02af2e78: 00007f4c2e1bc233 000000000000000a Инструкции: (pc=0x00007f4c3230aad7) 0x00007f4c3230aab7: 85 60 02 00 00 06 00 00 00 4c 89 6d b0 4c 8b 23 0x00007f4c3230aac7: 4d 85 e4 0f 84 68 02 00 00 49 8b 9d 20 01 00 00 0x00007f4c3230aad7: 48 83 7b 10 f7 0f 87 6e 02 00 00 48 8b 43 10 48 0x00007f4c3230aae7: 8d 50 08 48 3b 53 18 0f 87 9c 02 00 00 48 89 53 Зарегистрируйтесь для отображения памяти: RAX=0x0000000000010000 — неизвестное значение. RBX=0x80000001000004db — неизвестное значение. RCX=0x0000000302bd6fb0 — это ошибка [Lcom.mycompany.MyClass$Type; - класс: 'com/mycompany/MyClass$Type'[] - длина: 16 RDX=0x00007f4c32acda50: в /usr/java/jre64-1.7.0_45/jre/lib/amd64/server/libjvm.so по адресу 0x00007f4c31c96000 RSP=0x00007f4c02af2c88 указывает на стек потока: 0x0000000001313800 RBP=0x00007f4c02af2d70 указывает на стек потока: 0x0000000001313800 RSI=0x00007f4c02af2d80 указывает на стек потока: 0x0000000001313800 RDI=0x00000000013139e8 — неизвестное значение. R8 =0x0000000000000001 — неизвестное значение. Р9 = [произошла ошибка во время отчета об ошибках (печать информации о регистре), идентификатор 0xb] Стек: [0x00007f4c029f7000,0x00007f4c02af8000], sp=0x00007f4c02af2c88, свободное место=1007k Собственные фреймы: (J=скомпилированный код Java, j=интерпретированный, Vv=код VM, C=собственный код) В [libjvm.so+0x674ad7] JVM_Clone+0x97 J java.lang.Object.clone()Ljava/lang/Object; j com.mycompany.MyClass$Type.values()[Lcom/mycompany/MyClass$Type;+3 Кадры Java: (J=скомпилированный код Java, j=интерпретированный, Vv=код VM) J java.lang.Object.clone()Ljava/lang/Object; j com.mycompany.MyClass$Type.values()[Lcom/mycompany/MyClass$Type;+3 /var/log/messages вывод -
myhostname ядро: Java вызывает oom-killer: gfp_mask=0x201da, order=0, oom_adj=0, oom_score_adj=0 ядро myhostname: java cpuset=/mems_allowed=0 ядро myhostname: Pid: 32307, связь: java Не испорчено 2.6.39-400.209.1.el5uek #1 ядро myhostname: Трассировка вызовов: ядро myhostname: [] dump_header+0x94/0xe0 ядро myhostname: [] oom_kill_process+0x6d/0x160 ядро myhostname: [] out_of_memory+0xfc/0x210 ядро myhostname: [] __alloc_pages_slowpath+0x64c/0x660 ядро myhostname: [] __alloc_pages_nodemask+0x1b4/0x200 ядро myhostname: [] ? __do_page_cache_readahead+0xe0/0x170 ядро myhostname: [] alloc_pages_current+0xb3/0x120 ядро myhostname: [] __page_cache_alloc+0x9a/0xb0 ядро myhostname: [] page_cache_read+0x4f/0xb0 ядро myhostname: [] filemap_fault+0x174/0x270 ядро myhostname: [] __do_fault+0x5c/0x550 ядро myhostname: [] do_linear_fault+0x36/0x40 ядро myhostname: [] ? call_function_interrupt+0xe/0x20 ядро myhostname: [] handle_pte_fault+0x74/0x190 ядро myhostname: [] ? apic_timer_interrupt+0xe/0x20 ядро myhostname: [] handle_mm_fault+0x12f/0x1b0 ядро myhostname: [] do_page_fault+0x17d/0x4b0 ядро myhostname: [] ? user_path_at+0x11/0x20 ядро myhostname: [] ? vfs_fstatat+0x56/0x90 ядро myhostname: [] ? vfs_stat+0x1b/0x20 ядро myhostname: [] page_fault+0x25/0x30 ядро myhostname: Mem-Info: ядро myhostname: Узел 0 DMA для каждого процессора: ядро myhostname: ЦП 0: привет: 0, сука: 1 доллар США: 0 ядро myhostname: ЦП 1: привет: 0, сука: 1 доллар США: 0 ядро myhostname: ЦП 2: привет: 0, сука: 1 доллар США: 0 ядро myhostname: ЦП 3: привет: 0, сука: 1 доллар США: 0 ядро myhostname: ЦП 4: привет: 0, сука: 1 доллар США: 0 ядро myhostname: ЦП 5: привет: 0, сука: 1 доллар США: 0 ядро myhostname: Узел 0 DMA32 для каждого процессора: ядро myhostname: ЦП 0: привет: 186, сука: 31 долларов США: 0 ядро myhostname: ЦП 1: привет: 186, сука: 31 долларов США: 0 ядро myhostname: ЦП 2: привет: 186, сука: 31 долларов США: 0 ядро myhostname: ЦП 3: привет: 186, сука: 31 долларов США: 11 ядро myhostname: ЦП 4: привет: 186, сука: 31 долларов США: 30 ядро myhostname: ЦП 5: привет: 186, сука: 31 долларов США: 0 ядро myhostname: Узел 0 Нормальный для каждого процессора: ядро myhostname: ЦП 0: привет: 186, сука: 31 долларов США: 0 ядро myhostname: ЦП 1: привет: 186, сука: 31 долларов США: 0 ядро myhostname: ЦП 2: привет: 186, сука: 31 долларов США: 0 ядро myhostname: ЦП 3: привет: 186, сука: 31 долларов США: 0 ядро myhostname: ЦП 4: привет: 186, сука: 31 долларов США: 0 ядро myhostname: ЦП 5: привет: 186, сука: 31 долларов США: 0 ядро myhostname: active_anon: 4372468 inactive_anon: 275213 изолированный_anon: 0 ядро myhostname: active_file:17 inactive_file:21 изолированный_файл:0 ядро myhostname: unevitable: 6002 грязный: 24 обратная запись: 4 нестабильный: 0 ядро myhostname: бесплатно: 38369 slab_reclaimable: 3708 slab_unreclaimable: 9265 ядро myhostname: сопоставлено: 1253 shmem: 67 таблиц страниц: 10880 отказов: 0 myhostname ядро: Узел 0 DMA свободен: 15880 КБ мин: 8 КБ низкий: 8 КБ высокий: 12 КБ active_anon: 0 КБ inactive_anon: 0 КБ активный_файл: 0 КБ неактивный_файл: 0 КБ неуязвимый: 0 КБ изолированный (анон): 0 КБ изолированный (файл): 0 КБ присутствует: 15688 КБ mlocked: 0 КБ грязный: 0 КБ обратная запись: 0 КБ сопоставлено: 0 КБ shmem: 0 КБ slab_reclaimable: 0 КБ slab_unreclaimable: 0 КБ kernel_stack: 0 КБ таблиц страниц: 0 КБ нестабильно: 0 КБ отказов: 0 КБ writeback_tmp: 0 КБ Pages_scanned: 0 all_unreclaimable? да ядро myhostname: lowmem_reserve[]: 0 3000 32290 32290 ядро myhostname: Узел 0 DMA32 БЕСПЛАТНО: 119288KB MIN: 2136KB Low: 2668KB High: 3204KB Active_anon: 30224KB Unactive_anon: 9152KB Active_file: 0KB неактивное_FILE: 0KB. Обратная запись 16 КБ: 4 КБ сопоставлено: 36 КБ shmem: 0 КБ slab_reclaimable: 40 КБ slab_unreclaimable: 232 КБ kernel_stack: 24 КБ таблицы страниц: 48 КБ нестабильно: отказ 0 КБ: 0 КБ writeback_tmp: 0 КБ Pages_scanned: 67 all_unreclaimable? да ядро myhostname: lowmem_reserve[]: 0 0 29290 29290 myhostname ядро: Узел 0 Нормальный свободный: 17564 КБ мин: 20856 КБ низкий: 26068 КБ высокий: 31284 КБ active_anon: 17459648 КБ inactive_anon: 1091700 КБ активный_файл: 120 КБ неактивный_файл: 88 КБ неизлечимый: 24008 КБ изолированный (анон): 0 КБ изолированный (файл): 0 КБ присутствует: 2 9992960КБ заблокировано: 24008 КБ грязный: 80 КБ обратная запись: 12 КБ сопоставлено: 4976 КБ shmem: 268 КБ slab_reclaimable: 14792 КБ slab_unreclaimable: 36828 КБ kernel_stack: 2768 КБ таблицы страниц: 43472 КБ нестабильный: 0 КБ отказ: 0 КБ writeback_tmp: 0 КБ страницы_сканированные: 14972 все _не подлежит восстановлению? да ядро myhostname: lowmem_reserve[]: 0 0 0 0 myhostname ядро: Узел 0 DMA: 0*4 КБ 1*8 КБ 0*16 КБ 0*32 КБ 2*64 КБ 1*128 КБ 1*256 КБ 0*512 КБ 1*1024 КБ 1*2048 КБ 3*4096 КБ = 15880 КБ myhostname ядро: Узел 0 DMA32: 458*4 КБ 494*8 КБ 284*16 КБ 55*32 КБ 7*64 КБ 4*128 КБ 5*256 КБ 7*512 КБ 7*1024 КБ 6*2048 КБ 20*4096 КБ = 119288 КБ myhostname ядро: Узел 0 Обычный: 3333*4 КБ 0*8 КБ 0*16 КБ 0*32 КБ 0*64 КБ 0*128 КБ 0*256 КБ 0*512 КБ 0*1024 КБ 0*2048 КБ 1*4096 КБ = 17 428 КБ ядро myhostname: всего 115783 страницы кэша страниц ядро myhostname: 114466 страниц в кеше подкачки Ядро myhostname: статистика кэша подкачки: добавить 2183060, удалить 2068594, найти 1860109/1985849 ядро myhostname: свободный обмен = 0 КБ ядро myhostname: общий своп = 2097148 КБ ядро myhostname: 8388592 страниц ОЗУ ядро myhostname: зарезервировано 134806 страниц ядро myhostname: 6845 общих страниц ядро myhostname: 8210059 страниц, не являющихся общими