Ну вок как и думал, MTU... можно ещё различными размерами файлов или pingов проверять.
Если кому интересно, решилось методом добавления в конфиг openvpn на обеих сторонах строк
tun-mtu 1500
fragment 1400
mssfix
Кроме того, также на обеих серверах в конфиг shorewall добавил
CLAMPMSS=Yes
Я себе для IPSEC ствлю MTU 1492 и не в настройках VPN а на интерфейт WAN.