Al final después de mucho buscar en el google y de un montón de posts en un montón de listas de correo y foros y tal en todos los idiomas resulta que en una se da como sugerencia que borre los archivos ~/.ICEauthority (o algo así) y ~/.Xauthority y ha funcionado. Bueno, gracias por las respuestas.