Si lo que quieres es usarlo como servdor no necesitas un entorno x, solo configura el sshd correctamente y con cualquier programa para conexión ssh lo puedes conectar. Putty es uno, yo prefiero el secure crt, aunque no es gratis. Saludos!