Buenas,
Personalmente siempre he usado postfix y dovecot (luego puedes añadirle utilidades según tus necesidades (mailman,spamassassin,amavis,roundcube....) encontraras multitud de tutoriales en la web al respecto. También encontrarás paginas que te servirán de ayuda una vez montado** Respecto al hardware no se que decirte pues yo no llego a las 100 cuentas pero una vez que lo configures según tus necesidades (rDNS, RBLs, opciones que a ti te sean válidas para smtpd_sender|client|ehlo|recipient_resctrictions.....) tendrás un sistema bastante robusto. Uses el sistema que uses tendrás que batallar con el spam si o si por lo que deberás de dedicar un tiempo al respecto.
Respecto al Hardware no requiere mucho un servidor de correo y respecto a la estabilidad piensa en emplear varios MX para asegurarte continuidad en el servicio. Si te decides por postfix quizás te interese