Hola,
pues depende de lo que quieras alojar en la pagina web, que no es lo mismo una web que va a tener pocas visitas (tipica web de prueba) y que necesita pocos recursos (poca ram, poco procesador, poco disco duro, etc) que justo lo contrario.
Si vas a usar cms (wordpress por ejemplo) el tema de la seguridad y optimizacion va a base de plugins. Algunos gratuitos, otros de pago.
El tema de los correos puede ir en la configuracion del vps o tenerlo ya el propio dominio.