Calmaos, creo que se han salido de la tangente, en lugar de resolver un problema se han quedado en lo que dicen y que dijeron.
Juan, yo ya he tenido la experiencia que un simple "apt-get --purge remove paquete" no se borra completamente, por lo que por experiencia te sugiero que pruebes con aptitude.
aptitude remove paquete
aptitude purge paquete
Ejecuta esos dos comandos uno a la vez y con esto tendras resuelto la eliminacion del paquete o los paquetes por completo.
Para limpiar y volver desde cero solo pon los paquetes principales y esto limpiara todo.
aptitude remove Apache2 php5 mysql-server
aptitude purge Apache2 php5 mysql-server
Con esto podras empezar de nuevo desde cero.
Ahora con esto resuelves el problema de una mala configuración y estoy seguro que el problema que planteabas, no hay problema en practicar en una maquina real, sin embargo una virtual te ofrece herramientas como hacer snapshoots que te permiten retornar a un estado anterior en caso de errores.
Sin embargo puedes continuar trabajando con una maquina no virtual sin embargo es un poco tedioso estar esperando que se desinstalen los paquetes y se vuelvan a instalar.
Saludes Juan y espero esto resuelva tu problema.
Por experiencia si apt-get no me resuelve yo he usado aptitude.