Bom... deve ter alguma maneira mais inteligente, mas eu vejo uma bem simples e eficaz. No diretório /etc/ existem dois arquivos... o hosts.allow e o hosts.deny Como o próprio nome diz, um permite e o outro nega. Então... basta negar tudo no
hosts.deny e liberar os desejados no hosts.allow. Ah, e vc pode determinar quais serviços são permitidos ou negados para o acesso. Por exemplo, um ip pode acessar tal coisa e outra não... e por aí vai...