Was hat meinen Prozess gestoppt und warum?

Question

Meine Anwendung läuft als Hintergrundprozess unter Linux. Sie wird derzeit über die Kommandozeile in einem Terminal-Fenster gestartet.

Kürzlich führte ein Benutzer die Anwendung eine Zeit lang aus und sie starb auf mysteriöse Weise. Der Text:

Getötet

war auf dem Terminal. Dies geschah zwei Mal. Ich fragte, ob jemand an einem anderen Terminal den Befehl kill verwendet hat, um den Prozess zu beenden? Nein.

Unter welchen Bedingungen würde Linux beschließen, meinen Prozess zu beenden? Ich glaube, die Shell hat "killed" angezeigt, weil der Prozess nach dem Empfang des kill(9)-Signals gestorben ist. Wenn Linux das kill-Signal gesendet hat, sollte dann irgendwo in einem Systemprotokoll eine Meldung erscheinen, die erklärt, warum der Prozess beendet wurde?

Answer 1

Wenn der Benutzer oder der Systemadministrator das Programm nicht beendet hat, hat dies möglicherweise der Kernel getan. Der Kernel würde einen Prozess nur unter außergewöhnlichen Umständen beenden, z. B. bei extremer Ressourcenknappheit (z. B. wenn Mem+Swap erschöpft sind).

Answer 2

Versuchen Sie es:

dmesg -T| grep -E -i -B100 'killed process'

Wo -B100 gibt die Anzahl der Zeilen vor dem Kill an.

auslassen -T auf Mac OS.

Answer 3

Dies scheint ein guter Artikel zu diesem Thema zu sein: Zähmung des OOM-Killers .

Das Wesentliche ist, dass Linux Überengagement Speicher. Wenn ein Prozess mehr Speicherplatz anfordert, gibt Linux ihm diesen Platz, auch wenn er von einem anderen Prozess beansprucht wird, in der Annahme, dass niemand den gesamten angeforderten Speicherplatz tatsächlich nutzt. Der Prozess erhält die ausschließliche Nutzung des von ihm zugewiesenen Speichers, wenn er ihn tatsächlich nutzt, nicht wenn er ihn anfordert. Das macht die Zuweisung schnell und kann es Ihnen ermöglichen, zu "schummeln" und mehr Speicher zuzuweisen, als Sie wirklich haben. Sobald jedoch Prozesse beginnen, diesen Speicher zu verwenden, könnte Linux feststellen, dass es bei der Zuweisung von Speicher, der ihm nicht zur Verfügung steht, zu großzügig war, und muss einen Prozess beenden, um Speicher freizugeben. Der zu beendende Prozess basiert auf einer Bewertung, die die Laufzeit (lang laufende Prozesse sind sicherer), den Speicherverbrauch (gierige Prozesse sind weniger sicher) und einige andere Faktoren berücksichtigt, einschließlich eines Wertes, den Sie anpassen können, um die Wahrscheinlichkeit zu verringern, dass ein Prozess beendet wird. Das alles wird in dem Artikel sehr viel ausführlicher beschrieben.

Edit: Und hier ist weiterer Artikel die ziemlich gut erklärt, wie ein Prozess ausgewählt wird (mit einigen Kernel-Code-Beispielen). Das Tolle daran ist, dass es auch einige Kommentare zu den Argumentation hinter den verschiedenen badness() Regeln.

Answer 4

Lassen Sie mich zunächst erklären, wann und warum OOMKiller aufgerufen wird?

Angenommen, Sie haben 512 RAM + 1 GB Swap-Speicher. Theoretisch hat Ihre CPU also Zugriff auf insgesamt 1,5 GB virtuellen Speicher.

Nun läuft seit einiger Zeit alles problemlos mit 1,5 GB Gesamtspeicher. Aber plötzlich (oder allmählich) hat Ihr System begonnen, immer mehr Speicher zu verbrauchen, bis es einen Punkt erreicht hat, an dem etwa 95 % des Gesamtspeichers belegt sind.

Angenommen, ein beliebiger Prozess hat vom Kernel ein großes Stück Speicher angefordert. Der Kernel prüft den verfügbaren Speicher und stellt fest, dass es keine Möglichkeit gibt, dem Prozess mehr Speicher zuzuweisen. Also wird er versuchen, etwas Speicher freizugeben, indem er OOMKiller ( http://linux-mm.org/OOM ).

OOMKiller hat einen eigenen Algorithmus, um den Rang jedes Prozesses zu ermitteln. Typischerweise wird der Prozess, der mehr Speicher verbraucht, das Opfer, das getötet wird.

Wo kann ich Protokolle von OOMKiller finden?

Normalerweise im Verzeichnis /var/log. Entweder /var/log/kern.log oder /var/log/dmesg

Ich hoffe, das hilft Ihnen weiter.

Einige typische Lösungen:

1. Speicher vergrößern (nicht Swap)
2. Finden Sie die Speicherlecks in Ihrem Programm und beheben Sie sie
3. Beschränkung des Speichers, den ein Prozess verbrauchen kann (z. B. kann der JVM-Speicher mit JAVA_OPTS beschränkt werden)
4. Siehe die Protokolle und google :)

Answer 5

Dies ist die Linux Manager für Speicherplatzmangel (OOM) . Ihr Verfahren wurde ausgewählt aufgrund von Schlechtigkeit ' - eine Kombination aus Aktualität, residenter Größe (benutzter und nicht nur zugewiesener Speicher) und anderen Faktoren.

sudo journalctl -xb

Sie werden eine Meldung wie diese sehen:

Jul 20 11:05:00 someapp kernel: Mem-Info:
Jul 20 11:05:00 someapp kernel: Node 0 DMA per-cpu:
Jul 20 11:05:00 someapp kernel: CPU    0: hi:    0, btch:   1 usd:   0
Jul 20 11:05:00 someapp kernel: Node 0 DMA32 per-cpu:
Jul 20 11:05:00 someapp kernel: CPU    0: hi:  186, btch:  31 usd:  30
Jul 20 11:05:00 someapp kernel: active_anon:206043 inactive_anon:6347 isolated_anon:0
                                    active_file:722 inactive_file:4126 isolated_file:0
                                    unevictable:0 dirty:5 writeback:0 unstable:0
                                    free:12202 slab_reclaimable:3849 slab_unreclaimable:14574
                                    mapped:792 shmem:12802 pagetables:1651 bounce:0
                                    free_cma:0
Jul 20 11:05:00 someapp kernel: Node 0 DMA free:4576kB min:708kB low:884kB high:1060kB active_anon:10012kB inactive_anon:488kB active_file:4kB inactive_file:4kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present
Jul 20 11:05:00 someapp kernel: lowmem_reserve[]: 0 968 968 968
Jul 20 11:05:00 someapp kernel: Node 0 DMA32 free:44232kB min:44344kB low:55428kB high:66516kB active_anon:814160kB inactive_anon:24900kB active_file:2884kB inactive_file:16500kB unevictable:0kB isolated(anon):0kB isolated
Jul 20 11:05:00 someapp kernel: lowmem_reserve[]: 0 0 0 0
Jul 20 11:05:00 someapp kernel: Node 0 DMA: 17*4kB (UEM) 22*8kB (UEM) 15*16kB (UEM) 12*32kB (UEM) 8*64kB (E) 9*128kB (UEM) 2*256kB (UE) 3*512kB (UM) 0*1024kB 0*2048kB 0*4096kB = 4580kB
Jul 20 11:05:00 someapp kernel: Node 0 DMA32: 216*4kB (UE) 601*8kB (UE) 448*16kB (UE) 311*32kB (UEM) 135*64kB (UEM) 74*128kB (UEM) 5*256kB (EM) 0*512kB 0*1024kB 1*2048kB (R) 0*4096kB = 44232kB
Jul 20 11:05:00 someapp kernel: Node 0 hugepages_total=0 hugepages_free=0 hugepages_surp=0 hugepages_size=2048kB
Jul 20 11:05:00 someapp kernel: 17656 total pagecache pages
Jul 20 11:05:00 someapp kernel: 0 pages in swap cache
Jul 20 11:05:00 someapp kernel: Swap cache stats: add 0, delete 0, find 0/0
Jul 20 11:05:00 someapp kernel: Free swap  = 0kB
Jul 20 11:05:00 someapp kernel: Total swap = 0kB
Jul 20 11:05:00 someapp kernel: 262141 pages RAM
Jul 20 11:05:00 someapp kernel: 7645 pages reserved
Jul 20 11:05:00 someapp kernel: 264073 pages shared
Jul 20 11:05:00 someapp kernel: 240240 pages non-shared
Jul 20 11:05:00 someapp kernel: [ pid ]   uid  tgid total_vm      rss nr_ptes swapents oom_score_adj name
Jul 20 11:05:00 someapp kernel: [  241]     0   241    13581     1610      26        0             0 systemd-journal
Jul 20 11:05:00 someapp kernel: [  246]     0   246    10494      133      22        0         -1000 systemd-udevd
Jul 20 11:05:00 someapp kernel: [  264]     0   264    29174      121      26        0         -1000 auditd
Jul 20 11:05:00 someapp kernel: [  342]     0   342    94449      466      67        0             0 NetworkManager
Jul 20 11:05:00 someapp kernel: [  346]     0   346   137495     3125      88        0             0 tuned
Jul 20 11:05:00 someapp kernel: [  348]     0   348    79595      726      60        0             0 rsyslogd
Jul 20 11:05:00 someapp kernel: [  353]    70   353     6986       72      19        0             0 avahi-daemon
Jul 20 11:05:00 someapp kernel: [  362]    70   362     6986       58      18        0             0 avahi-daemon
Jul 20 11:05:00 someapp kernel: [  378]     0   378     1621       25       8        0             0 iprinit
Jul 20 11:05:00 someapp kernel: [  380]     0   380     1621       26       9        0             0 iprupdate
Jul 20 11:05:00 someapp kernel: [  384]    81   384     6676      142      18        0          -900 dbus-daemon
Jul 20 11:05:00 someapp kernel: [  385]     0   385     8671       83      21        0             0 systemd-logind
Jul 20 11:05:00 someapp kernel: [  386]     0   386    31573      153      15        0             0 crond
Jul 20 11:05:00 someapp kernel: [  391]   999   391   128531     2440      48        0             0 polkitd
Jul 20 11:05:00 someapp kernel: [  400]     0   400     9781       23       8        0             0 iprdump
Jul 20 11:05:00 someapp kernel: [  419]     0   419    27501       32      10        0             0 agetty
Jul 20 11:05:00 someapp kernel: [  855]     0   855    22883      258      43        0             0 master
Jul 20 11:05:00 someapp kernel: [  862]    89   862    22926      254      44        0             0 qmgr
Jul 20 11:05:00 someapp kernel: [23631]     0 23631    20698      211      43        0         -1000 sshd
Jul 20 11:05:00 someapp kernel: [12884]     0 12884    81885     3754      80        0             0 firewalld
Jul 20 11:05:00 someapp kernel: [18130]     0 18130    33359      291      65        0             0 sshd
Jul 20 11:05:00 someapp kernel: [18132]  1000 18132    33791      748      64        0             0 sshd
Jul 20 11:05:00 someapp kernel: [18133]  1000 18133    28867      122      13        0             0 bash
Jul 20 11:05:00 someapp kernel: [18428]    99 18428   208627    42909     151        0             0 node
Jul 20 11:05:00 someapp kernel: [18486]    89 18486    22909      250      46        0             0 pickup
Jul 20 11:05:00 someapp kernel: [18515]  1000 18515   352905   141851     470        0             0 npm
Jul 20 11:05:00 someapp kernel: [18520]     0 18520    33359      291      66        0             0 sshd
Jul 20 11:05:00 someapp kernel: [18522]  1000 18522    33359      294      64        0             0 sshd
Jul 20 11:05:00 someapp kernel: [18523]  1000 18523    28866      115      12        0             0 bash
Jul 20 11:05:00 someapp kernel: Out of memory: Kill process 18515 (npm) score 559 or sacrifice child
Jul 20 11:05:00 someapp kernel: Killed process 18515 (npm) total-vm:1411620kB, anon-rss:567404kB, file-rss:0kB