Você pode usar o Quagga, ele implementa diversos protocolos de
roteamento: RIP, OSPF, IS-IS, BGP...
Se você estiver acostumado com roteadores Cisco não terá muitos
problemas, os comandos são bem parecidos.
Alguns links interessantes:
http://www.quagga.net/
http://openmaniak.com/quagga.php