IOWait Problem
Moin,
wir haben in der Firma einen Debian/Squeeze Rechner der von Zeit zu
Zeit sehr hohes IOWait erzeugt und anschließend dann durch den darauf
laufenden JBoss EAP5 auch ein sehr hohes Load. Daraus resultiert dann
eine extrem schlechte Performance der EAP-Anwendung.
Der jboss läuft mit sun-jdk und folgenden JVM-Speicher Settings:
-Xms12500m -Xmx12500m -XX:MaxPermSize=512m
Ich habe hänge mal einen sysstat Auszug von so einem Fall mit an, die
kritische Zeit ist 15:35 Uhr, um 15:45Uhr wurde der jboss restarted,
daher die Menge an freiem Speicher ab diesem Zeitpunkt.
Was mich besonders wundert ist der große Anstieg an pgpgin/s.
Laut manpage sind das kbytes-pages/s die das System von Disk liest,
ergo vom Swap?
Warum ist dann aber der Wert für pswpin/s pswpout/s so niedrig und die
Swapnutzung allgemein?
Als erstes werde ich wohl den Swap deaktivieren. Hat sonst noch jemand
eine Idee was der Rechner hier so treibt?
# sar -p -rRqbBdSuwW -s 14:00:00 -e 18:00:00
Linux 2.6.32-5-amd64 (theodosius-ii) 17.10.2012 _x86_64_
(8 CPU)
14:05:01 CPU %user %nice %system %iowait %steal
%idle
14:15:01 all 6,40 0,00 0,54 2,04 0,00
91,02
14:25:01 all 4,91 0,00 0,43 1,61 0,00
93,05
14:35:01 all 5,21 0,00 0,48 1,80 0,00
92,51
14:45:01 all 4,45 0,00 0,41 1,29 0,00
93,85
14:55:01 all 4,31 0,00 0,44 1,52 0,00
93,74
15:05:01 all 4,88 0,00 0,43 1,70 0,00
92,99
15:15:01 all 4,57 0,00 0,44 1,60 0,00
93,39
15:25:01 all 4,44 0,00 0,40 1,37 0,00
93,79
15:35:02 all 5,50 0,00 1,17 68,50 0,00
24,83
15:45:01 all 14,77 0,00 2,10 31,77 0,00
51,37
15:55:02 all 6,07 0,00 0,45 2,12 0,00
91,36
16:05:01 all 5,20 0,00 0,61 2,01 0,00
92,18
16:15:01 all 5,10 0,00 0,33 1,10 0,00
93,47
16:25:01 all 5,42 0,00 0,40 1,50 0,00
92,69
16:35:01 all 4,67 0,00 0,36 1,39 0,00
93,58
16:45:01 all 3,84 0,00 0,28 0,99 0,00
94,88
16:55:01 all 4,93 0,00 0,36 1,61 0,00
93,10
17:05:01 all 4,77 0,00 0,40 1,80 0,00
93,03
17:15:01 all 4,63 0,00 0,33 1,32 0,00
93,73
17:25:01 all 3,26 0,00 0,28 1,33 0,00
95,14
17:35:01 all 2,69 0,00 0,33 2,18 0,00
94,80
17:45:01 all 2,87 0,00 0,20 0,68 0,00
96,24
17:55:01 all 3,09 0,00 0,28 1,44 0,00
95,19
Durchschn.: all 5,04 0,00 0,50 5,77 0,00
88,69
14:05:01 proc/s cswch/s
14:15:01 46,38 1651,56
14:25:01 37,51 1425,94
14:35:01 37,41 1453,27
14:45:01 32,90 1288,79
14:55:01 34,60 1364,16
15:05:01 35,51 1408,11
15:15:01 33,93 1314,47
15:25:01 30,69 1258,77
15:35:02 113,05 4081,97
15:45:01 303,83 9054,88
15:55:02 37,85 1534,63
16:05:01 55,41 1729,72
16:15:01 32,62 1333,07
16:25:01 42,26 1609,79
16:35:01 39,21 1462,45
16:45:01 30,25 1173,36
16:55:01 40,18 1510,24
17:05:01 44,07 1658,46
17:15:01 36,01 1345,88
17:25:01 30,44 1273,61
17:35:01 36,94 1670,64
17:45:01 19,90 904,17
17:55:01 29,40 1332,94
Durchschn.: 51,31 1862,52
14:05:01 pswpin/s pswpout/s
14:15:01 0,00 0,00
14:25:01 0,00 0,00
14:35:01 0,00 0,00
14:45:01 0,00 0,00
14:55:01 0,00 0,00
15:05:01 0,00 0,00
15:15:01 0,01 0,00
15:25:01 0,00 0,00
15:35:02 0,01 0,00
15:45:01 0,38 0,03
15:55:02 0,01 0,00
16:05:01 0,17 0,00
16:15:01 0,00 0,00
16:25:01 0,00 0,00
16:35:01 0,00 0,00
16:45:01 0,00 0,00
16:55:01 0,00 0,00
17:05:01 0,00 0,00
17:15:01 0,00 0,00
17:25:01 0,00 0,00
17:35:01 0,00 0,00
17:45:01 0,08 0,00
17:55:01 0,00 0,00
Durchschn.: 0,03 0,00
14:05:01 pgpgin/s pgpgout/s fault/s majflt/s pgfree/s pgscank/s
pgscand/s pgsteal/s %vmeff
14:15:01 3,97 499,94 1343,18 0,01 1050,67 22,93
0,00 21,76 94,88
14:25:01 3,28 413,38 1267,09 0,00 939,84 28,80
0,00 27,52 95,56
14:35:01 3,25 408,05 1244,56 0,01 943,34 32,14
0,00 31,38 97,66
14:45:01 4,47 357,73 1207,43 0,00 849,99 0,00
0,00 0,00 0,00
14:55:01 2,87 380,97 1238,77 0,00 896,71 14,40
0,00 13,81 95,93
15:05:01 7,51 398,05 1243,23 0,01 931,45 22,03
0,00 20,91 94,92
15:15:01 4,94 397,03 1231,90 0,05 894,47 20,53
0,00 19,53 95,11
15:25:01 9,25 349,27 1256,68 0,10 925,90 47,26
0,00 46,50 98,40
15:35:02 2674,15 591,19 1765,48 0,27 2204,80 604,31
25,38 611,91 97,18
15:45:01 1357,10 1297,74 6129,43 0,84 10295,62 136,42
131,22 245,03 91,55
15:55:02 154,44 769,30 3598,76 0,76 1724,55 0,00
0,00 0,00 0,00
16:05:01 82,69 774,84 7421,37 0,37 2894,61 0,00
0,00 0,00 0,00
16:15:01 22,62 301,03 1439,21 0,00 882,90 0,00
0,00 0,00 0,00
16:25:01 6,10 376,54 1556,68 0,00 1032,10 0,00
0,00 0,00 0,00
16:35:01 6,00 347,75 1433,84 0,00 933,25 0,00
0,00 0,00 0,00
16:45:01 5,57 274,74 1303,60 0,00 849,14 0,00
0,00 0,00 0,00
16:55:01 5,73 390,06 1339,76 0,00 1000,01 0,00
0,00 0,00 0,00
17:05:01 6,23 458,28 1442,22 0,00 995,62 0,00
0,00 0,00 0,00
17:15:01 3,27 387,65 1427,55 0,00 932,74 0,00
0,00 0,00 0,00
17:25:01 1,25 343,51 1371,31 0,00 852,13 0,00
0,00 0,00 0,00
17:35:01 0,62 427,99 1332,02 0,00 908,71 0,00
0,00 0,00 0,00
17:45:01 50,62 228,54 1154,15 0,05 696,13 0,00
0,00 0,00 0,00
17:55:01 4,81 348,66 1256,96 0,03 836,50 0,00
0,00 0,00 0,00
Durchschn.: 192,41 457,44 1912,65 0,11 1498,28 40,44
6,80 45,20 95,67
14:05:01 tps rtps wtps bread/s bwrtn/s
14:15:01 27,17 0,42 26,74 7,93 999,88
14:25:01 24,17 0,31 23,86 6,56 826,76
14:35:01 24,26 0,32 23,94 6,49 816,11
14:45:01 20,17 0,39 19,77 8,95 715,44
14:55:01 21,84 0,25 21,59 5,73 761,96
15:05:01 23,09 0,55 22,54 15,01 796,09
15:15:01 22,41 0,30 22,11 9,88 794,07
15:25:01 21,31 1,11 20,20 18,51 698,54
15:35:02 246,21 221,52 24,69 5346,79 1158,73
15:45:01 157,22 126,51 30,71 2715,72 2619,21
15:55:02 34,82 11,45 23,37 308,88 1538,62
16:05:01 32,02 7,49 24,53 165,39 1549,68
16:15:01 15,85 1,21 14,64 45,24 602,06
16:25:01 19,67 0,62 19,05 12,20 753,08
16:35:01 17,98 0,46 17,52 12,00 695,50
16:45:01 14,96 1,11 13,86 11,13 549,46
16:55:01 20,74 0,69 20,04 11,48 780,13
17:05:01 23,71 0,53 23,17 12,45 916,57
17:15:01 19,31 0,27 19,04 6,55 775,29
17:25:01 18,56 0,13 18,43 2,51 687,02
17:35:01 27,28 0,08 27,20 1,24 855,99
17:45:01 13,51 1,71 11,79 101,24 457,06
17:55:01 19,96 0,22 19,74 9,61 697,32
Durchschn.: 37,68 16,44 21,24 384,82 914,88
14:05:01 frmpg/s bufpg/s campg/s
14:15:01 -5,66 0,79 4,56
14:25:01 8,23 -0,08 -8,98
14:35:01 16,31 -1,15 -12,39
14:45:01 -20,63 0,82 18,01
14:55:01 -4,17 0,44 3,88
15:05:01 3,62 0,20 -3,25
15:15:01 -1,13 0,24 0,44
15:25:01 27,87 -0,74 -26,36
15:35:02 -39,96 -9,14 67,36
15:45:01 3499,04 14,01 -92,16
15:55:02 -349,87 -70,41 136,57
16:05:01 -274,57 7,25 88,38
16:15:01 -236,99 6,72 21,92
16:25:01 -212,99 7,59 21,71
16:35:01 -172,50 5,56 17,90
16:45:01 -103,47 4,66 15,71
16:55:01 -25,85 4,97 18,53
17:05:01 -143,29 4,49 24,05
17:15:01 -171,62 2,92 18,15
17:25:01 -144,62 2,51 14,38
17:35:01 -78,76 3,37 10,56
17:45:01 -71,48 1,10 22,96
17:55:01 -44,08 1,75 18,54
Durchschn.: 63,03 -0,53 16,55
14:05:01 kbmemfree kbmemused %memused kbbuffers kbcached kbcommit
%commit
14:15:01 107832 16363460 99,35 162796 809300 14976404
77,12
14:25:01 127584 16343708 99,23 162600 787740 14967640
77,08
14:35:01 166724 16304568 98,99 159832 758008 14942380
76,95
14:45:01 117208 16354084 99,29 161812 801228 14996204
77,22
14:55:01 107192 16364100 99,35 162880 810552 14956200
77,02
15:05:01 115892 16355400 99,30 163356 802748 14956892
77,02
15:15:01 113180 16358112 99,31 163928 803812 14981480
77,15
15:25:01 180080 16291212 98,91 162152 740552 14962260
77,05
15:35:02 83948 16387344 99,49 140164 902612 15022744
77,36
15:45:01 8472136 7999156 48,56 173760 681680 13902536
71,59
15:55:02 7632376 8838916 53,66 4756 1009464 14173556
72,99
16:05:01 6974480 9496812 57,66 22136 1221228 14177900
73,01
16:15:01 6405676 10065616 61,11 38268 1273848 14174000
72,99
16:25:01 5894472 10576820 64,21 56492 1325956 14195320
73,10
16:35:01 5480476 10990816 66,73 69844 1368920 14227872
73,27
16:45:01 5232140 11239152 68,23 81020 1406624 14215960
73,21
16:55:01 5170088 11301204 68,61 92940 1451092 14292916
73,60
17:05:01 4826172 11645120 70,70 103712 1508816 14281828
73,54
17:15:01 4414272 12057020 73,20 110728 1552372 14255244
73,41
17:25:01 4067184 12404108 75,31 116752 1586884 14242796
73,34
17:35:01 3878148 12593144 76,46 124836 1612240 14255244
73,41
17:45:01 3706588 12764704 77,50 127488 1667336 14268256
73,48
17:55:01 3600796 12870496 78,14 131684 1711840 14324320
73,76
Durchschn.: 3342376 13128916 79,71 117128 1156298 14510867
74,72
14:05:01 kbswpfree kbswpused %swpused kbswpcad %swpcad
14:15:01 2928824 19064 0,65 7196 37,75
14:25:01 2928824 19064 0,65 7196 37,75
14:35:01 2928824 19064 0,65 7196 37,75
14:45:01 2928824 19064 0,65 7196 37,75
14:55:01 2928824 19064 0,65 7196 37,75
15:05:01 2928824 19064 0,65 7188 37,70
15:15:01 2928824 19064 0,65 7068 37,08
15:25:01 2928824 19064 0,65 7068 37,08
15:35:02 2928824 19064 0,65 7104 37,26
15:45:01 2931284 16604 0,56 7036 42,38
15:55:02 2931296 16592 0,56 7040 42,43
16:05:01 2931460 16428 0,56 7292 44,39
16:15:01 2931460 16428 0,56 7292 44,39
16:25:01 2931460 16428 0,56 7292 44,39
16:35:01 2931460 16428 0,56 7292 44,39
16:45:01 2931460 16428 0,56 7292 44,39
16:55:01 2931460 16428 0,56 7292 44,39
17:05:01 2931460 16428 0,56 7292 44,39
17:15:01 2931460 16428 0,56 7292 44,39
17:25:01 2931460 16428 0,56 7292 44,39
17:35:01 2931460 16428 0,56 7292 44,39
17:45:01 2931540 16348 0,55 7404 45,29
17:55:01 2931540 16348 0,55 7404 45,29
Durchschn.: 2930421 17467 0,59 7226 41,37
14:05:01 runq-sz plist-sz ldavg-1 ldavg-5 ldavg-15
14:15:01 0 924 0,78 0,71 0,61
14:25:01 1 935 0,36 0,46 0,54
14:35:01 1 894 0,24 0,46 0,51
14:45:01 0 977 0,64 0,48 0,49
14:55:01 0 939 0,55 0,42 0,43
15:05:01 0 907 0,49 0,68 0,55
15:15:01 3 933 0,75 0,56 0,52
15:25:01 0 943 0,21 0,33 0,43
15:35:02 1 992 119,50 99,27 51,16
15:45:01 2 673 1,60 35,23 46,08
15:55:02 1 840 0,97 5,45 24,48
16:05:01 1 843 0,39 1,12 13,11
16:15:01 2 814 0,48 0,58 7,08
16:25:01 0 827 0,25 0,46 3,95
16:35:01 0 845 0,70 0,71 2,38
16:45:01 0 847 0,28 0,31 1,36
16:55:01 1 903 0,49 0,44 0,90
17:05:01 1 902 0,49 0,58 0,75
17:15:01 2 864 0,37 0,46 0,60
17:25:01 0 864 0,25 0,31 0,46
17:35:01 0 877 0,61 0,64 0,52
17:45:01 1 896 0,10 0,28 0,38
17:55:01 0 895 0,40 0,31 0,34
Durchschn.: 1 884 5,69 6,53 6,85
14:05:01 DEV tps rd_sec/s wr_sec/s avgrq-sz avgqu-sz
await svctm %util
14:15:01 sda 27,17 7,93 999,88 37,10 5,26
193,43 6,16 16,72
14:25:01 sda 24,17 6,56 826,76 34,47 4,19
173,33 6,21 15,01
14:35:01 sda 24,26 6,49 816,11 33,91 4,71
194,30 6,26 15,18
14:45:01 sda 20,17 8,95 715,44 35,92 3,48
172,44 6,13 12,36
14:55:01 sda 21,84 5,73 761,96 35,15 4,01
183,44 6,27 13,69
15:05:01 sda 23,09 15,01 796,09 35,12 4,25
184,25 6,27 14,48
15:15:01 sda 22,41 9,88 794,07 35,88 4,43
197,53 6,25 14,01
15:25:01 sda 21,31 18,51 698,54 33,65 3,71
174,15 6,20 13,22
15:35:02 sda 246,21 5346,79 1158,73 26,42 140,06
561,76 3,95 97,26
15:45:01 sda 157,22 2715,72 2619,21 33,93 92,53
599,35 4,02 63,17
15:55:02 sda 34,82 308,88 1538,62 53,06 3,54
101,56 5,01 17,45
16:05:01 sda 32,02 165,39 1549,68 53,56 2,61
81,54 5,50 17,61
16:05:01 DEV tps rd_sec/s wr_sec/s avgrq-sz avgqu-sz
await svctm %util
16:15:01 sda 15,85 45,24 602,06 40,84 0,79
49,72 6,88 10,91
16:25:01 sda 19,67 12,20 753,08 38,91 1,04
53,09 7,13 14,02
16:35:01 sda 17,98 12,00 695,50 39,35 1,03
57,49 7,15 12,86
16:45:01 sda 14,96 11,13 549,46 37,46 1,05
70,07 6,71 10,05
16:55:01 sda 20,74 11,48 780,13 38,18 2,19
105,62 7,00 14,51
17:05:01 sda 23,71 12,45 916,57 39,19 2,95
124,62 6,90 16,36
17:15:01 sda 19,31 6,55 775,29 40,48 2,60
134,66 6,68 12,91
17:25:01 sda 18,56 2,51 687,02 37,15 2,13
114,93 6,88 12,77
17:35:01 sda 27,28 1,24 855,99 31,42 2,92
106,84 7,16 19,53
17:45:01 sda 13,51 101,24 457,06 41,34 1,50
111,07 5,76 7,78
17:55:01 sda 19,96 9,61 697,32 35,42 2,35
117,60 6,82 13,62
Durchschn.: sda 37,68 384,82 914,88 34,50 12,76
338,68 5,26 19,81
--
Markus Schulz
Reply to: