Re: IOWait Problem
Am Sonntag, 21. Oktober 2012, 14:29:56 schrieb Martin Steigerwald:
> Am Mittwoch, 17. Oktober 2012 schrieb Markus Schulz:
> > Nabend,
>
> […]
>
> > Nabend,
> >
> > Am Mittwoch, 17. Oktober 2012, 19:56:41 schrieb Martin Steigerwald:
> > > Das ist ziemlich schlecht zu lesen. Ja, KMailhats jetzt nochmal
> > > umgebrochen, ist aber für meine Antwort egal.
> > >
> > > Ich bitte Dich, diese Angaben ohne Zeilenumbruch zu senden.
> >
> > hab sie einfach mal als text-attachment angehangen.
> > Roundcube konnte die format=flowed Mail problemlos darstellen.
> > KMail nutze ich seit dem akonadi Wahnsinn kaum noch ;)
>
> Einfach mal so daher geschrieben, was?
Warum sollte ich, ich habe bereits viel Erfahrung mit und ohne akonadi in
kmail/kontact gemacht (http://wordpress.tastatur-junkie.de/?p=362 , auf das
Datum des Postings achten)
> KMail aus Debian nutzt Akonadi derzeit noch gar nicht. Das einzige, was
> im Standard-Setup auf Akonadi aufsetzt, ist das Adreßbuch. Den Kalender
> habe ich aber auch umgestellt.
Nur leider startet kontact nicht ohne ein korrekt eingerichtetes Akonadi und
selbst kmail fror beim Schreiben von Mails ohne akonadi ein.
Achja, richtig, es ist ganz toll ein Adressbuch zu besitzen ohne das in kmail
nutzen zu können. Ich habe übrigens kontact/kmail bereits lange vor akondai
benutzt und war daher meine Adressbücher (imap, ldap) in kmail gewohnt.
>
> > > Zusätzlich fehlen eine ganze Reihe Angaben zum System selbst. Wie z.B.
> > > wo es die Daten speichert, Hauptspeichermenge, CPU usw. Ja teilweise
> > > läßt sich das aus den Sysstat-Daten rauslesen. Ich bitte dich aber,
> > > das ganze etwas netter aufzubereiten, wenn du hier schon um
> > > kostenlosen Support für einen Unternehmens-Server bittest.
> >
> > - 8x Intel(R) Xeon(R) CPU X5365 @ 3.00GHz"
> > - 16GB Ram
> > - 10k 72GB Disks im HW-Raid1 (hier müsste ich den Admin fragen, bin
> > eigentlich nur für die Software im JBoss zuständig)
>
> Naja, das ist schon ordentlich, bis auf das RAM.
Wie kommst du zu dieser Einschätzung ohne Wissen von der JEE Anwendung zu
besitzen? Für diese JEE5 Anwendung(en) ist die RAM-Menge momentan ausreichend
(die Anwendung wird von uns selbst entwickelt) und der JVM Speicherverbrauch
wird separat überwacht.
> > > Auch fehlt ein Blick auf die Prozesse.
> >
> > auf der Kiste läuft sonst nix relevantes: ssh/ntpd/nagios-statd/nfs-
> > client/bacula-fd. Alles keine Speicherfresser....
> > mal aktuelle Daten um eine Vorstellung zu bekommen:
> > # ps -eo cputime,etime,pmem,rss,sz,vsz,comm | grep -v "^00:00"
> >
> > TIME ELAPSED %MEM RSS SZ VSZ COMMAND
> >
> > 00:01:47 108-11:24:18 0.0 0 0 0 events/7
> > 00:09:27 108-11:24:18 0.0 0 0 0 kswapd0
> > 01:52:20 108-11:24:06 0.0 0 0 0 kjournald
> > 00:01:07 108-11:24:05 0.0 0 0 0 edac-poller
> > 00:06:01 108-11:24:03 0.0 0 0 0 flush-8:0
> > 00:03:19 108-11:22:39 0.0 0 0 0 bond0
> > 00:01:00 108-11:22:37 0.0 6092 8391 33564 nagios-statd
> > 00:03:08 108-11:22:37 0.0 1024 8533 34132 ntpd
> > 00:49:26 108-11:22:36 0.0 3384 38131 152524 bacula-fd
> > 00:01:17 36-04:50:10 0.0 1116 29929 119716 rsyslogd
> > 00:01:17 23-04:35:53 0.0 7236 11091 44364 munin-node
> > 01:29:56 07:08:49 65.2 10747944 4430036 17720144 java
>
> Das meinte ich anders: Ich habe atop nicht umsonst erwähnt. Ich möchte
> wissen, welche Prozesse zu den Zeiten mit der Page In/Out-Aktivität aktiv
> sind.
>
> Die Information wird Dir ps nicht auf die Weise liefern können wie atop.
dafür habe ich iotop während das Problem auftrat laufen lassen. Dort waren
halt kernel threads (kswapd iirc) und jboss-threads zu sehen.
> > Der gesamte Speicher ist für den JBoss, der deshalb auch mit reservierten
> > 12,5GB Heap und 512MB PermGen gestartet wird.
> >
> > iotop und co. wurde bereits herangezogen. der jboss erzeugt keine große
> > io- Last (die lokale Platte enthält quasi keine Laufzeitdaten die
> > cache-relevant sind).
> > Man sieht nur kernel-threads mit hoher io-Last. (falls es ohne Swap
> > nochmal auftritt protokolliere ich das)
>
> Aha.
>
> Welche Kernel Threads sind das?
>
> Diese Informationen sind wichtig.
wie ich bereits geschrieben habe, beim nächsten auftreten wird das mit
protokolliert (dann auch mit atop).
> > > Mich wundert das nicht, dass die Kiste lahm ist. Und das Swap würde ich
> > > auch nicht ausschalten.
> >
> > 800MB cache und 160MB buffers-cache sind in meinen Augen für die Kiste
> > eigentlich ausreichend. Wie gesagt da liegen keine relevanten Daten auf
> > der Platte die der JBoss braucht, die holt er aus dem Alfresco bzw.
> > Postgresql. Der Rechner hat auch in der restlichen Zeit keine
> > nennenswerte IO-Last.
>
> 16 GB RAM mit 800 MB frei für Caches? Da klingeln bei mir die Alarmglocken.
> Ich würde eine Kiste so nicht laufen lassen.
>
> Wenn das System bei 16 GB RAM nur noch 800 MB für Caches aufbringen kann,
> wird es mit hoher wahrscheinlich mit zunehmender Betriebsdauer und
> Speicherfragmentierung immer intensiver nach freien Pages suchen. Meiner
> groben Erinnerung nach kann das mitunter auch als Last vom Kernel-Thread
> kswapd auftauchen. Die Details stehen in meinem Schulungsfolien zum
> Performance Tuning Kurs nach. Aber da schaue ich heute nicht rein.
>
> Meine Empfehlung ist: Doppelt so viel RAM rein wie der Workload erfordert.
> Oder wenigstens eineinhalb mal so viel. Das dürfte bei sehr viel RAM dann
> auch reichen. Auf jeden Fall: Deutlich Spielraum für Caching lassen.
aehm, der Rechner dient ausschließlich der sun-jvm. Diese bekommt daher den
größten Brocken direkt zugewiesen (-Xms == -Xmx, da die jvm ihren Speicher
selbst verwaltet. Das Betriebssystem hat dann eigentlich mit der
Speicherverwaltung nicht mehr so viel zu tun, die ~13GB an java sind halt
dauerhaft vergeben.
Ich formuliere meine Frage jetzt um:
was bedeutet exakt pgpgin/s? und wie kann ich ohne Swap noch pages von disk
lesen?
MfG
msc
Reply to: