Il numero di tentativi dovrebbe essere controllato dal parametro maxretray, quindi nel tuo caso dovrebbbe essere maxretray = 3.
Mi sembra (ma questa è più una domanda che risposta) funzioni in sincrono con findtime, cioè se vengono superati "maxretray" nel periodo "findtime"; nel tuo caso dovresti mettere un findtine molto alto, tipo findtine = 86400 (1 giorno) o forse omettere del tutto il parametro findtime; leggendo un articolo in rete mi è venuto questo dubbio.
Volendo agire su Apache penso devi semplicemente attivare la/a jail già predisposta/e, cmq in rete (ad es. DigitalOcean.org/How To Protect an Apache Server....", per quanto vecchio, o
xmodulo.com/How to configure fail2ban to protect Apache HTTP server) trovi esempi di configurazione; peraltro ho visto che le protezioni con Apache sono molteplici.