Я бы предположил, что у Вас после увеличения swap-раздел на lvm стал фрагментирован. Поскольку, судя по выхлопу free, он у Вас используется целиком, стало быть периодически система ждёт нужного сектора, который может быть весьма неблизко.
Кстати, а как возможно посмотреть карту экстентов, которые занимает логический раздел?