O Sr. instalou alguma ferramente de monitoramento, que possa lhe fornecer a carga de uso, principalmente de CPU e memória ?
Qual o volume de visitas deste seu Wordpress ?
Meu "chutômetro" apontaria para a memória, eu não instalo um servidor com menos de 16 GB de RAM a mais de 3 anos ...
O Apache é um glutão tanto de CPU qto de memória, uma possível solução para minimizar o problema seria substituir o Apache pelo nginx ( que teve seu incicio justamente pelos problemas de usu de memória e CPU do Apache ) .
Mas com apenas 4GB de RAM mesmo isto pode não ser a solução ...
Outra pergunta, qto núcleos REAIS ( desconsiderando a escrescência do Hiper Threading ) este Xeon tem ?