Re: fail2ban et robots GTP
Bonjour,
Le 2025-09-01 09:11, BERTRAND Joël a écrit :
J'ai actuellement des sites web qui se font bombarder de requêtes de
robots de type chatgtp (la charge de mon serveur principal monte à plus
de 200 !) et j'essaie de les bannir automatiquement par un filtre
fail2ban. Problème : ça ne fonctionne pas.
C'est malheureusement le cas de tous ceux qui hébergent des sites,
notamment des
dépôts de code.
Les bloquer par des moyens classiques est compliqué car :
- ils ne respectent pas le robots.txt
- ils utilisent un user-agent de navigateur qui ne permet pas de
détecter qu'il
s'agit de robots
- ils répartissent leur travail sur une multitude d'adresses IP qui font
qu'il
sera impossible de les bloquer réellement
La solution adoptée à regret un peu partout est celle-là :
https://anubis.techaro.lol/
Sébastien
Reply to: