100% iowait
Здоровья всем побольше!
Подскажите, пожалуйста, где копать. Периодически возникает загрузка
iowait 100%.
Debian stretch + backports.
> uname -a
Linux wide 4.17.0-0.bpo.3-amd64 #1 SMP Debian 4.17.17-1~bpo9+1 (2018-
08-27) x86_64 GNU/Linux
В машине 4 винта: sda, sdb, sdc и nvme0 (SSD). Последние два не
используются.
Поверх sda и sdb заведёны три md (0 - root, 1 - boot, 2 - lxc). Поверх
md2 заведён lvm, который используется для контейнеров lxc. Всего три
контейнера.
> smartctl -a /dev/sda | egrep "(^Device\sMo|Sector\sSize)"
Device
Model: WDC WD5000AAKX-001CA0
Sector Size: 512 bytes
logical/physical
> smartctl -a /dev/sdb | egrep "(^Device\sMo|Sector\sSize)"
Device Model: WDC WD5003ABYX-01WERA2
Sector Size: 512 bytes logical/physical
После установки ядра из backports (понадобилось для поддержки фикса mtu
в nftables), периодически (раз в 1-2 часа) началось 100% iowait, фризы
в системе. Через несколько минут отлагивает.
Если в момент фризов запустить iostat, то везде видны нули, кроме:
Device aqu-sz %util
nvme0n1 0,00 0,00
sda 0,00 0,00
sdb 0,00 0,00
sdc 0,00 0,00
md2 0,00 0,00
md0 0,00 0,00
md1 0,00 0,00
dm-0 0,00 0,00
dm-1 0,00 0,00
dm-2 0,00 0,00
dm-3 0,00 0,00
dm-4 0,00 0,00
dm-5 2,00 100,00
dm-6 3,00 100,00
dm-7 1,00 100,00
dm-5,6,7 - это как раз контейнеры lxc на lvm. Контейнеры пересоздал,
даже fs на ext3 там пересоздал на всякий случай.
Без фризов статистика адекватная, везде есть разумные цифири.
В логах иногда сыпится
INFO: task kworker/u8:5:196 blocked for more than 120 seconds.
Not tainted 4.17.0-0.bpo.3-amd64 #1 Debian 4.17.17-1~bpo9+1
Задачи разные. Ну это понятно io-подсистема зависла, у процессов
сложности.
Куда копать?
Reply to: