En una appvm de Qubes con debian 8 si logre que ipsec trabajara utilizando la misma configuración.
Me llama la atención que en modules.builtin del debian que instale no aparezcan los modulos xfrm resposables de ipsec mientras que en el debian de Qubes si están. Sin embargo los modulos de xfrm si aparencen en sus directorios respectivos en ambos casos.