オンラインシステムjavaプロセスがどのように殺されたかを表示

1545 ワード

オンラインサーバにはjavaビジネスシステムが配備されていますが、今日突然プロセスがなくなったことに気づき、javaシステムのエラーログ、gcログを表示しても問題は見つかりませんでした.不思議なことに、linuxのシステムログ--messageを見るしかなく、javaプロセスが殺された真犯人を見つけた.
/var/logディレクトリに入ると、次のメッセージログが表示されます.
-rw-------  1 root  root      11174 Sep 25 22:05 messages
-rw-------  1 root  root      47851 Sep  3 02:46 messages-20170903
-rw-------  1 root  root      59019 Sep 10 03:04 messages-20170910
-rw-------  1 root  root      45481 Sep 17 03:14 messages-20170917
-rw-------  1 root  root      75629 Sep 24 03:20 messages-20170924

1日のログを表示します(javaプロセスが殺された時間):
# cat messages-20170924 | grep ttbrain
Sep 21 14:29:39 ttAlgorithm-tomcat-online073-jylt kernel: ttbrain-recomme invoked oom-killer: gfp_mask=0x280da, order=0, oom_adj=0, oom_score_adj=0
Sep 21 14:29:39 ttAlgorithm-tomcat-online073-jylt kernel: ttbrain-recomme cpuset=/ mems_allowed=0
Sep 21 14:29:39 ttAlgorithm-tomcat-online073-jylt kernel: Pid: 15018, comm: ttbrain-recomme Tainted: G        W  ---------------    2.6.32-504.12.2.02.abc.el6.x86_64 #1
Sep 21 14:29:39 ttAlgorithm-tomcat-online073-jylt kernel: [14958]     0 14958 15254513 12668994   0       0             0 ttbrain-recomme
Sep 21 14:29:39 ttAlgorithm-tomcat-online073-jylt kernel: Out of memory: Kill process 14958 (ttbrain-recomme) score 956 or sacrifice child
Sep 21 14:29:39 ttAlgorithm-tomcat-online073-jylt kernel: Killed process 14958, UID 0, (ttbrain-recomme) total-vm:61018052kB, anon-rss:50675972kB, file-rss:4kB

linuxシステムのメモリが不足しているためjavaプロセスが殺されたことがわかります.